![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫代码
文章平均质量分 50
qq_41757346
这个作者很懒,什么都没留下…
展开
-
中CE——Database
#-*- coding:utf-8 -*-#Filename:中策大数据test#Author:Guan#Datetime:2018/11/24#导报import requestsfrom bs4 import BeautifulSoupimport jsonimport os#获取网页数据def get_html(url): headers = { ...原创 2018-12-04 17:10:12 · 187 阅读 · 0 评论 -
360搜索引擎数据抓取
BeatifulSoup网页解析#-*- coding:utf-8 -*-#Filename:360搜索引擎#Author:Guan#Datetime:2018/11/30import requestsfrom bs4 import BeautifulSoupimport jsonimport timedef get_html(url): headers = { ...原创 2018-12-04 17:11:57 · 1883 阅读 · 0 评论 -
爬虫防被封,直连数据库
今天花了一上午的时间,研究一下如何让爬虫避免IP封死。主要设计到PROXY和PROXYTYPE以下是代码:#-*- coding:utf-8 -*-#Filename:最终版搜狗数据#Author:Guan#Datetime:2018/12/8from selenium.webdriver.common.proxy import Proxyfrom selenium.webdri...原创 2018-12-08 15:04:37 · 289 阅读 · 0 评论 -
关于搜狗那点事
研究Webdriver\json\re\BeatifulSoupAPI的具体脚本使用#-*- coding:utf-8 -*-#Filename:完整版搜狗脚本#Author:Guan#Datetime:2018/12/6#The code is import packageimport requestsfrom bs4 import BeautifulSoupimport j...原创 2018-12-06 23:38:05 · 194 阅读 · 0 评论 -
某汽车网站爬虫
主要使用到了ip池、模拟浏览器自动化检测、时间推送、数据库链接等技术具体代码:`# --coding:utf-8 --Filename:汽车之家论坛Author:GuanDatetime:2018/12/27from selenium import webdriverimport refrom _md5 import md5import happybaseimport date...原创 2018-12-28 11:28:43 · 394 阅读 · 0 评论 -
Python自学
从一个小白到Python开发工程师的自我修养。https://fgk.pw/i/HdxZRAU2955点击此链接下载具体代码数据。原创 2019-05-21 10:30:37 · 600 阅读 · 0 评论 -
关于Python那点事-Python 基础,Python Spider,Python Tensorflow
本人学习过Java,熟悉数据库基本管理,后期因为公司需求又自学了Python。从一开始听免费的公开课学习PythonSpider(Python爬虫),主要用于获取网页数据,从分析网页构建,到HTML页面解析,包括一些网页的点触验证码,滑动验证码,及普通验证码的识别及处理,FontCretor加密字体库,分析加密过程及如何解密。自我认为学的还是不错的,目前本人正在学习机器学习。在此本人将自...原创 2019-05-27 10:10:57 · 152 阅读 · 0 评论