- 博客(25)
- 收藏
- 关注
RSS订阅原创 xml-001:基本语法
1.xml基本语法，参见https://www.cnblogs.com/zhouyeqin/p/7418971.html2.实体知识补充，参见https://blog.csdn.net/Holmofy/article/details/781300393.xml可以传递图片，参见http://blog.sina.com.cn/s/blog_15c19b9290102wbkp.htmlht...
2018-10-31 14:57:28
211
原创 python:抓包利器fiddler常识（一）
1.工作原理以web代理服务器的形式进行工作的，使用的代理地址是：127.0.0.1，端口默认为8888，过程如下：web代理就是在客户端和服务器之间设置一道关卡，客户端先将请求数据发送出去后，代理服务器会将数据包进行拦截，代理服务器再冒充客户端发送数据到服务器；同理，服务器将响应数据返回，代理服务器也会将数据拦截，再返回给客户端。2.fiddler的使用http部分2.1 设置电脑上有...
2018-10-30 08:38:24
5931
原创 python:代理IP是否有效的测试方法
测试环境：ubantu18.04,python 3.6网上不少文章关于代理IP的验证方法，例如1.访问百度网页，依据其返回的网页内容进行判断例如import urllib.requestproxy=urllib.request.ProxyHandler({"http": "http://120.77.249.46:8
2018-10-27 16:36:45
22981
原创 python:麻烦的字符集问题，一不小心就中文乱码
环境：ubantu,mysql5.7,python3.6 在涉及中文，python编程时应知应会以下知识:1.字符集常识1.1 概念字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、Unic...
2018-10-22 15:12:40
1565
原创 python:简单爬虫示例，含分析文档，建库，程序代码
1.分析文档1.1 目标爬取笑话集-最新儿童笑话大全前三页的笑话题目，访问量，发表时间1.2 URL第一页：www.jokeji.cn/list7_1.htm第三页：www.jokeji.cn/list7_3.htm第N页：www.jokeji.cn/list7_N.htm注：得出规律，并验证1.3 数据项经分析，拟采用正则表达式获取数据题目：target="_blank&amp
2018-10-19 16:31:17
357
原创 mysql:经典文章链接目录
持续更新中1.深入Mysql字符集设置https://blog.csdn.net/fdipzone/article/details/18180325
2018-10-16 14:29:24
142
原创 python:连接mysql出现1045或1698 "Access denied for user..."错误提示
环境：ubantu18.04,python3,jupyter notebookimport pymysqlconn = pymysql.connect(host=“127.0.0.1”,user=“root”,passwd=“123123”,db=“test_database”)出现1045 "Access denied for user等错误提示解决问题经分析，很可能是因为mysql ...
2018-10-15 16:53:39
4392
原创 python:mysql数据库安装
环境：ubantu18.041.打开一个Terminal,输入sudo apt update；2.输入sudo apt-get install mysql-server；3.设置登录密码，输入sudo mysql_secure_installation，根据提示输入数据库登录密码，界面提示如下lw@ubuntu:~$ sudo mysql_secure_installation[sudo...
2018-10-11 10:54:25
225
原创 python：浏览器的两种伪装方法
1.使用OPENERimport urllib.requesturl0 = “http://www.baidu.com/”headers0 = (“User-Agent”,“Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36”)op...
2018-10-11 08:58:03
1503
原创 python:cookie概念和应用
1.什么是Cookiecookie （储存在用户本地终端上的数据）。Cookie 在计算机中是个存储在浏览器目录中的文本文件，当浏览器运行时，存储在 RAM 中发挥作用 （此种 Cookies 称作 Session Cookies），一旦用户从该网站或服务器退出，Cookie 可存储在用户本地的硬盘上 （此种 Cookies 称作 Persistent Cookies）。通常情况下，当用户结束浏...
2018-10-08 18:58:35
293
原创 python:用谷歌浏览器分析网页内容（一）
1.查看网页源代码，在网页空白处单击鼠标右键选择 查看网页源代码（或者使用快捷键 Ctrl+U 直接打开）;查找某内容，若无法找到，则表示该内容有可能通过异步加载（Ajax）。2.查看经过Ajax加载和JavaScript渲染的源代码，在网页空白处单击鼠标右键选择 检查（或者使用快捷键 Ctrl+Shift+I / F12直接打开）。3.1 F12打开开发者工具3.2 点击 NETWORK...
2018-10-07 21:11:32
1293
原创 python:post请求request方法步骤
import urllib.requestimport urllib.parse#1.设定目标网址url = “目标网址”#2.设定post请求提交的变量值postdata =urllib.parse.urlencode({“字典类型值”}).encode(“utf-8”)#3.提交申请req = urllib.request.Request(url,postdata)#4.获取数...
2018-10-07 16:18:45
2098
原创 python:get和post的区别
1.安全程度不同。post更安全，不会作为url的一部分，不会被缓存、保存在服务器日志、以及浏览器浏览记录中。注：HTTP协议用法约定GET使用URL或Cookie传参，而POST将数据放在BODY中。2.数据容量不同。post发送的数据更大，get有url长度限制。注：http协议并未规定get和post的长度限制，但浏览器和web服务器会对URL的长度有所限制，例如IE，则最大长度为20...
2018-10-07 13:20:28
2556
1
原创 python:网页地址分析（get请求）
1.搜索时尽量使用英文关键字，避免分析链接时编码不支持中文编码；例如百度搜索JMS,其地址如下https://www.baidu.com/s?wd=JMS&rsv_spt=1&rsv_iqid=0xcad97e84000425cf&issp=1&f=8&rsv_bp=0&rsv_idx=2&am
2018-10-07 09:05:03
762
原创 消息中间件MQ（三）JMS常识及简单案例
1JMS概念JMS即Java消息服务（Java Message Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。2JMS体系架构JMS由以下元素组成。2.1JMS提供者：连接面向消息中间件的，JMS接口的...
2018-10-06 17:17:51
307
原创 消息中间件MQ（二）模式、应用场景、常用协议
1.消息中间件模式分类1.1 点对点1.2发布/订阅2消息中间件应用场景2.1异步通信有些业务不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。2.2解耦降低工程间的强依赖程度，针对异构系统进行适配。在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。通过消息系统...
2018-10-06 16:32:21
1960
原创 消息中间件MQ（一）概念及常识
1.概念和用途：Message Queue顾名思义就是消息队列。打个比方去快餐店点餐，每个人点餐可能只要10s，但如果三个人同时向服务员点餐，服务员就可能会乱了，三个顾客还可能会吵起来，这件事就没法30s内解决，那么很简单，排队点餐就好办了。所以MQ最核心的功能就是削峰蓄洪。其他特征则是围绕这一功能衍生出来的，(1)比如如何维持排队的人不乱套（持久化和重发和事务支持）(2)如何容纳更多的人排队...
2018-10-06 16:14:21
1513
原创 python:爬取简要分析文档框架
题目：爬取XXXXXX简要分析或爬取_000x_XXXXXXXX简要分析(仅供学习） 一、URL 种子URL： URL： 二、内容： 字段1：获取方式 字段2：获取方式 … 三、存储 …...
2018-09-15 08:55:34
184
原创 python:urlopen和urlretrieve()的说明和应用例子
1.urlopen()方法 创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。 urllib.request.urlopen(url[, data[, proxies]]) 参数url:网址； 参数data:以post方式提交到url的数据； 参数proxies:设置代理。urlopen返回 一个类文件对象，它提供了如下方法： read() ...
2018-09-15 06:39:54
755
原创 python:常见HTTP状态码有哪些？
HTTP状态码（HTTP Status Code）是用以表示网页服务器HTTP响应状态的3位数字代码。它由 RFC 2616 规范定义的，并得到RFC 2518、RFC 2817、RFC 2295、RFC 2774、RFC 4918等规范扩展。1xx 消息2xx 成功3xx 重定向4xx 请求错误5xx 6xx 服务器出错常见如下200 （成功） 服务器已成功处理了请求。 通...
2018-09-14 22:32:06
901
原创 python：爬取时http和https有何区别？
问：爬取时http和https有何区别？ 答： http获取数据时信息齐全，https获取数据的信息有缺失，在确定网络地址后，一般采用http。注：http和https的区别一、HTTP和HTTPS的基本概念 HTTP：是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器端请求和应答的标准（TCP），用于从WWW服务器传输超文本到本地浏览器的传输协议，它可以使浏览器更...
2018-09-13 09:00:13
4256
原创 ubantu18.04 -正则表达式：(.*?)表达什么意思？
问：正则表达式中的“(.*?)”表达什么意思？ 答： . 匹配除换行外任意一个字符 * 前一个字符出现0\1\多次 ? 当前匹配模式为懒惰模式（尽可能少地匹配，精准模式） 三个组合在一起是取尽量少的任意字符。 例如： ...
2018-09-12 20:46:01
252
原创 ubantu18.04: python官方参考文档
ubantu18.04: python官方参考文档 https://docs.python.org/3.6/index.html
2018-09-12 20:23:16
272
原创 ubantu18.04:jupyter 和 ipython有何区别
问：jupyter 和 ipython有何区别答： Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本，支持运行 40 多种编程语言，其本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和markdown。 用途包括:数据清理和转换，数值模拟，统计建模，机器学习等等。 注1：安装输入：sudo apt ...
2018-09-10 15:30:35
979
原创 ubantu18.04: apt-get install与pip install有何区别
问：apt-get install与pip install有何区别答： apt-get install用来安装软件、更新源、也可以用来更新自Ubuntu的典型依赖包. pip install用来安装来自PyPI的python所有的依赖包，并且可以选择安装任何在PyPI上已上传的先前版本的依赖包. 注：典型安装即意味只安装（最新发布的，或最近一个的）单一版本，无法安装指定版本的依赖包的版本...
2018-09-10 14:42:19
744
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人