爬虫
qq_32300143
这个作者很懒,什么都没留下…
展开
-
腾讯云scrapy定时爬虫
1.定时执行的.sh脚本 --->/zhanglei/sh/scrapySchedule.shcd /zhanglei/python/scrapy_project/zl1/zl1 //到达scrapy项目目录(必须写,不然报找不到scrapy)/usr/local/python3/bin/scrapy crawl zlsp1 //开始执行爬虫1/usr/l...原创 2019-12-21 14:39:42 · 271 阅读 · 0 评论 -
linux上安装python,pip,scrapy
1、下载python3.6的安装包: wgethttps://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz2、解压后,进入到解压目录下,执行如下命令,将python3.6进行编译,如下是将python的环境编译到/usr/local/python3的目录下,注意先创建该目录:./configure –prefix=/usr/l...原创 2019-12-03 13:04:12 · 267 阅读 · 0 评论 -
beautifulSoup4常用方法
原创 2018-04-09 10:27:01 · 604 阅读 · 0 评论 -
Xpath常用方法
转载 2018-04-09 15:08:39 · 610 阅读 · 0 评论 -
正则表达式学习1
1.精准匹配:\bwe\b (匹配所有we,包含这个的不匹配)原创 2018-04-02 15:06:40 · 124 阅读 · 0 评论 -
python3 TypeError:Unicode-objects must be encode before hashing
python3环境下,利用hash值对url进行 md5加密,时报错TypeError:Unicode-objects must be encode before hashing原因是:python3跟python2区别:python3下字符串为Unicode类型,而hash传递时需要的是utf-8类型,因此,需要类型转换调用函数时,将url进行类型转换def get_md5(url):m = h...原创 2018-04-16 09:37:20 · 2946 阅读 · 0 评论 -
PyCharm调用whl方式导入本地库
作者:Mr王链接:https://www.zhihu.com/question/40029203/answer/341750592来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。由于某些原因,pycharm导入第三方库会提示失败,如twisted库。此时可以使用cmd命令的pip install whl导入第三方库。在cmd中输入如下命令导入已经下载好的whl文件:p...原创 2018-04-16 15:33:34 · 19905 阅读 · 3 评论 -
linux上安装MongoDB
安装参考 :https://blog.csdn.net/caofeiliju/article/details/80195036将mongodb设置为服务启动如下:cd /lib/systemd/system vi mongodb.servicemongodb.service文件配置如下:[Unit] Description=mongodb After=netwo...原创 2018-04-16 16:19:20 · 139 阅读 · 0 评论