python爬虫
盛夏88688
这个作者很懒,什么都没留下…
展开
-
python 学习 输出排名后50位大学 DAY4
import requestsfrom bs4 import BeautifulSoupimport bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encodi...转载 2018-07-28 15:34:34 · 1190 阅读 · 1 评论 -
如何删除所有正在运行的Docker容器
到现在为止(Docker版本1.12),我们使用以下命令删除所有正在运行的容器(如果我们要删除卷,我们可以使用以下命令中的相应标记-v手动执行此操作),删除所有已退出的容器docker rm $(docker ps -q -f status=exited)删除所有已停止的容器docker rm $(docker ps -a -q)删除所有正在运行和已停止的容器do...转载 2019-03-06 18:44:00 · 9306 阅读 · 0 评论 -
安装pyspider遇到的坑(python3.6)
这段时间在学爬虫,安装pyspider框架,遇到了很多坑,像关键字问题等等,这些网上都有教程。但是我遇到了这个问题。ValueError: Invalid configuration: - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.弄了好久,终...原创 2019-03-06 10:47:12 · 4016 阅读 · 2 评论 -
python爬虫 Scrapy使用步骤 DAY7
Scrapy爬虫使用步骤:1、创建一个工程和Spider模板scrapy startproject BaiduStockscd BaiduStocksscrapy genspider stocks baidu.com进一步修改spiders/stocks.py文件2、编写Spider配置stocks.py 文件修改对返回页面的处理修改对新增URL爬取请求的处理...转载 2018-08-12 15:26:27 · 153 阅读 · 0 评论 -
python爬虫 股票界面爬取 DAY6
import requestsimport refrom bs4 import BeautifulSoupdef getHTMLText(url,code): try: r = requests.get(url) r.raise_for_status r.encoding = code return r.text ...转载 2018-08-04 09:43:53 · 321 阅读 · 0 评论 -
python爬虫 学习 中国大学排名显示及保存文件 DAY3
import requestsfrom bs4 import BeautifulSoupimport bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encodi...转载 2018-07-27 14:41:03 · 482 阅读 · 0 评论 -
python爬虫 学习 淘宝页面定向爬取 DAY5
import requestsimport redef getHTMLTxt(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text excep...转载 2018-07-29 17:47:28 · 240 阅读 · 0 评论 -
python爬虫 学习 京东页面、亚马逊访问|、百度搜索、网上爬取图片 DAY2
import requestsdef getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text[:500] except: ...转载 2018-07-26 10:19:47 · 180 阅读 · 0 评论 -
python爬虫 学习 爬虫通用架构 DAY1
import requestsdef getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: ...转载 2018-07-25 22:45:13 · 191 阅读 · 0 评论 -
配置MYSQL数据库缺少my.ini的解决办法
在目录下增加该文件我的文件配置如下[mysqld]skip-grant-tablescharacter-set-server=utf8#绑定IPv4和3306端口bind-address = 0.0.0.0port = 3306sql_mode="STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION"default_storage_eng...原创 2019-03-13 18:16:49 · 1420 阅读 · 0 评论