![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
远方的飞猪
热爱编程,代码行者。
展开
-
Python MapReduce 案例
import sysimport rep = re.compile(r'\w+')for line in sys.stdin: ss = line.strip().split(' ') for s in ss: if len(p.findall(s)) < 1: continue s_low = p.findall(s)[0].lower() print(s_low + ',' + '1')im.原创 2020-09-24 20:56:53 · 572 阅读 · 0 评论 -
python 爬取 csdn 网站信息
python 爬取 csdn 网站信息完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/csdn#!/usr/bin/env python# -*- coding: utf-8 -*-import requestsfrom bs4 import BeautifulSoupimport multiprocessingimport timesuccess_num = 0CONSTANT = 0d.原创 2020-09-21 20:11:40 · 252 阅读 · 0 评论 -
python 爬取全国农产品批发指数网站 charles 抓取 flash 数据包 分析数据包数据
python 爬取全国农产品批发指数网站charles 抓取 flash 数据包 分析数据包数据amf 数据请求与返回格式 flash 数据完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/agriculture#!/usr/bin/env python# -*- coding: utf-8 -*-import requestsimport uuidimport pyamfimport da..原创 2020-09-21 20:11:46 · 1006 阅读 · 1 评论 -
python 获取东方财富网站的数据
python 获取东方财富网站的数据完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/EastWealthWebsite#!/usr/bin/env python# -*- coding: utf-8 -*-import pandas as pdfrom selenium import webdriverfrom selenium.webdriver.support import expected_cond.原创 2020-09-21 20:11:51 · 3754 阅读 · 0 评论 -
Python 爬虫处理字体加密 汽车之家、猫眼、去哪儿网
Python 爬虫处理字体加密完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/fontfaceDecrypt汽车之家:#!/usr/bin/env python# -*- coding: utf-8 -*-import requestsfrom lxml import etreeimport reimport sysimport iofrom fontTools.ttLib import TTFont原创 2020-09-21 20:11:56 · 1154 阅读 · 0 评论 -
Python 分布式爬取 InfoQ 信息
Python 分布式爬取 InfoQ 信息完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/InfoQ#!/usr/bin/env python# -*- coding: utf-8 -*-import jsonimport datetimeimport timeimport randomfrom InfoQ.tool.header import headersimport requestsfrom In原创 2020-09-21 20:11:35 · 200 阅读 · 0 评论 -
python 爬取 全网代理 IP 网站 + 破解端口加密混淆
python 爬取 全网代理 IP 网站完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/IP#!/usr/bin/env python# -*- coding: utf-8 -*-from lxml import etreeimport requestsdef spider(): url = 'http://www.goubanjia.com/' headers = { 'A原创 2020-09-20 11:05:23 · 404 阅读 · 0 评论 -
python 爬取 IT 桔子网
python 爬取 IT 桔子网完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/ITOrangeimport requestsimport reimport pymongoimport randomimport timeimport jsonimport randomimport numpy as npimport csvimport pandas as pdfrom fake_useragent i原创 2020-09-20 11:05:18 · 1422 阅读 · 0 评论 -
python selenium 爬取去哪儿网的数据
python selenium 爬取去哪儿网的数据完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/selenium+qunaerwang#!/usr/bin/python# -*- coding: UTF-8 -*-from selenium import webdriverimport datetimefrom selenium.webdriver.support.ui import WebDriverWai原创 2020-09-20 11:05:13 · 1026 阅读 · 0 评论 -
python 爬取拉钩网数据
python 爬取拉钩网数据完整代码下载:https://github.com/tanjunchen/SpiderProject/blob/master/lagou/LaGouSpider.py#!/usr/bin/env python# -*- coding: utf-8 -*-import randomimport timeimport requestsfrom openpyxl import Workbookimport pymysql.cursorsdef get_c原创 2020-09-20 11:05:06 · 334 阅读 · 0 评论 -
mitmproxy python 使用案例
python mitmproxy 使用案例完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/mitmproxyspider#!/usr/bin/env python# -*- coding: utf-8 -*-from mitmproxy import ctx, flowdef job(url): injected_javascript = ''' // overwrite the `la..原创 2020-09-20 11:04:56 · 1260 阅读 · 0 评论 -
python 模拟人为行为登录 zcool 站酷网站
python 模拟人为行为登录 zcool 站酷网站完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/zcool#!/usr/bin/env python# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriv原创 2020-09-20 11:04:47 · 236 阅读 · 0 评论 -
python 获取企名科技数据
完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/qimingpian#!/usr/bin/env python# -*- coding: utf-8 -*-import execjsimport base64import jsonimport requestsheaders = { 'Accept': 'application/json, text/plain, */*', 'Content-原创 2020-09-20 11:04:16 · 561 阅读 · 0 评论 -
微信助手 itchat 小工具的使用
微信助手 itchat 小工具的使用完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/wechartrobot#!/usr/bin/env python# -*- coding: utf-8 -*-import osimport requestsimport itchatfrom itchat.content import *import timefrom apscheduler.schedulers.ba原创 2020-09-20 11:04:11 · 1005 阅读 · 0 评论 -
python 爬取投融界专业平台
完整代码下载:https://github.com/tanjunchen/SpiderProject/blob/master/tourongzi/Spider.py#!/usr/bin/python# -*- coding: UTF-8 -*-import requestsfrom fake_useragent import UserAgentimport pandas as pdfrom lxml import etreeimport reua = UserAgent().原创 2020-09-20 11:04:06 · 221 阅读 · 0 评论 -
python 爬取投资项目在线审批监管平台
完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/wwwtzxmgovcn投资项目在线审批监管平台# !/usr/bin/env python# -*- coding: utf-8 -*-import requestsimport pandas as pdimport randomimport timefrom requests.packages.urllib3.exceptions import Insec原创 2020-09-19 00:55:41 · 483 阅读 · 0 评论 -
python 爬取中国木材价格指数网
python 爬取中国木材价格指数网完整代码:https://github.com/tanjunchen/SpiderProject/tree/master/yuzhuprice#!/usr/bin/env python# -*- coding: utf-8 -*-from datetime import datetimefrom concurrent.futures.thread import ThreadPoolExecutorfrom multiprocessing impo.原创 2020-09-19 00:52:42 · 740 阅读 · 0 评论 -
python 爬取自如租房的租房数据,使用图像识别获取价格信息
python 爬取自如租房的租房数据完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/ziru#!/usr/bin/python# -*- coding: UTF-8 -*-import reimport requestsimport pytesseractfrom PIL import Imagefrom selenium import webdriverfrom fake_useragent impor原创 2020-09-19 00:50:43 · 800 阅读 · 0 评论 -
python 爬取康美中药网站
python 爬取康美中药网站完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/kangmeizhongyao#!/usr/bin/env python# -*- coding: utf-8 -*-import requestsfrom lxml import etreeimport jsonimport pandas as pdimport datetimefrom kangmeizhongyao..原创 2020-09-19 00:47:41 · 389 阅读 · 0 评论 -
python 爬取中国邮政编码
源代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/ZipCode中国邮政编码http://www.yb21.cn#!/usr/bin/env python# -*- coding: utf-8 -*-import jsonfrom lxml import etreefrom multiprocessing import Manager, cpu_count, Poolimport requestsfr.原创 2020-09-19 00:41:05 · 1586 阅读 · 0 评论 -
Python基础知识必知道!!!
前段时间逛博客的时候,看到了Alex总结的Python题目,目前在自学Python,想要检测下效果,所以总结并完善相关答案。1:为什么学习Python?语言本身简洁,优美,功能超级强大,跨平台,桌面应用,web开发,自动化测试运维,爬虫,人工智能,大数据处理。本人是从Python爬虫开始学的。2:Python和Java、PHP、C、C#、C++等其他语言的对比?Java 编程语言是...原创 2018-12-13 22:07:12 · 670 阅读 · 0 评论