python
HelloSunday~
这个作者很懒,什么都没留下…
展开
-
macOS成功在python3环境下安装Scrapy和Numpy
macOS成功在python3环境下安装Scrapy和Numpymac的坑更换pip源debug:clang有问题安装Numpy mac的坑 mac系统自带了python2,且pip指令的默认环境也是python2.在这个python3盛行的时代,不得不说这样原始的默认设置有些反人类: 解决方案:任何需要用到pip的地方都用pip3,如: $pip3 install scrapy 直接执行以上指...原创 2019-08-03 16:08:53 · 421 阅读 · 0 评论 -
Scrapy1.7入门中文教程(一)
Scrapy1.7入门中文教程 Scrapy是一个能被用来爬网站、截取数据的应用框架,在数据挖掘、信息处理等方面有着很广泛的应用。 创建工程 切换至合适的目录后,在终端输入,scrapy会帮你创建一个名叫tutorial的工程 $ scrapy startproject tutorial 各级文件及其作用如下 创建你的第一个爬虫 在tutorial/spiders目录下创建一个名叫quotes...翻译 2019-08-05 16:16:49 · 3046 阅读 · 0 评论 -
Scrapy爬虫与Mysql数据库之间的连接
1.需要导的包 import pymysql 2.# mysql连接信息(字典形式) db_config ={ 'host': '127.0.0.1',#连接的主机id(107.0.0.1是本机id) 'port': 3306, 'user': '****', 'password': '****', 'db': 'test',#(数据库名) 'ch...原创 2019-08-09 08:22:30 · 600 阅读 · 0 评论