- 博客(2)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 pysql数据库存入的万能语句
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport pymysqlclass HaodPipe...
2018-08-01 16:27:08
1644
原创 建立自己的IP代理池[爬取西刺代理]
一:基本参数和导入的包import requestsimport reimport randomurl = 'http://www.xicidaili.com/nn'headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.3' '6 (KHT...
2018-08-01 16:23:48
865
csv文件合并.bat
将多个CSV文件合并成一个文件
CSV全称Comma-Separated Values，它是一种通用的，简单的，被广泛采用的一种表格数据格式。采用纯文本格式存储，用分隔符号分开。它格式类似于数据库表格，每一行，中间用分隔符分开，一行就是一条记录，一列就是一个字段。它是文本格式，所以非常直观，可读。
CSV文件可以记事本软件直接打开编辑，也可以用Excel软件打开编辑。
CSV文件有几个规则：开头不能空，没有空行，不支持数字和特殊字符
2020-09-02
xpath+helper
google插件XPath Helper可以支持在网页点击元素生成xpath，整个抓取使用了xpath、正则表达式、消息中间件、多线程调度框架（参考）。xpath 是一种结构化网页元素选择器，支持列表和单节点数据获取，他的好处可以支持规整网页数据抓取。
如果我们要查找某一个、或者某一块元素的xpath路径，可以按住shift，并移动到这一块中，上面的框就会显示这个元素的xpath路径，右边则会显示解析出的文本内容，并且我们可以自己改动xpath路径，程序也会自动的显示对应的位置，可以很方便的帮助我们判断我们的xpath语句是否书写正确
2020-03-25
ntp离线安装包 autogen ntpdate ntp
ntp 离线安装包, autogen-libopts-5.18-5.el7.x86_64.rpm ntpdate-4.2.6p5-28.el7.centos.x86_64.rpm ntp-4.2.6p5-28.el7.centos.x86_64.rpm
2019-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人