2020年02月___Pythoner__

原创基于requests的抖音无水印视频爬虫

直接上代码# -*- coding: UTF-8 -*-import requestsfrom bs4 import BeautifulSoupimport os# 去掉 https warningsrequests.packages.urllib3.disable_warnings()headers = { 'user-agent': 'Mozilla/5.0 (L...

2020-02-29 17:07:41 779 2

原创爬虫工程师的进阶一览图（爬虫工程师水平对照表）根据崔庆才崔大神的文章总结的

根据崔大神的文章总结的爬虫水平对照表一、初级水平Python 【语言基础】 requests 【请求相关】 lxml【解析相关】 XPath 【解析相关】 BeautifulSoup【解析相关】 PyQuery 【解析相关】 MySQL 【数据库】 MongoDB【数据库】 Elasticsearch【我没用过这个，不清楚用到他什么特性】 Kafka【消息队列相关...

2020-02-28 01:36:10 7789 2

原创招投标信息爬虫（只上最简单的版本，仅用于技术交流）

import requestsurl="http://manager.zjzfcg.gov.cn/cms/api/cors/getRemoteResults?noticeId=6000337&url=http%3A%2F%2Fnotice.zcygov.cn%2Fnew%2FnoticeDetail"res2 = requests.get(url)res2.content.deco...

2020-02-23 13:57:57 3919 1

原创基于结巴分词、SnowNLP、Kmeans自然语言处理之京东评论情感分析

【1】需要处理的评论数据已经存到MongoDB（评论数据总量约为3万条）import jiebaimport jieba.analysefrom pymongo import MongoClientfrom snownlp import SnowNLPcomments = ''client=MongoClient()results = client.jd.shouhuan.fi...

2020-02-23 13:52:23 2404

原创基于selenium的码市外包信息爬虫

# 引入 selenium中的webdriverfrom selenium import webdriver# 将chrome配置为无头浏览器# options = webdriver.ChromeOptions()# options.add_argument('--headless')# options.add_argument('--disable-gpu')# 引入 lxm...

2020-02-23 13:37:18 223

原创基于selenium的twitter博文评论爬虫

技术合作联系：13958075150【1】首次登录获取cookies并存为文件from selenium import webdriverimport timeimport jsonbr = webdriver.Chrome()br.get("https://twitter.com/login?prefetchTimestamp=1574961630352")# 填写手...

2020-02-22 19:04:14 2655 4

原创实现今日头条-西瓜视频-抖音视频自动化上传（如希望无人值守长期定时执行的话，需自行优化代码）

首次登录使用selenium登录并将cookies存为文件，实现免密登录，并便于后期维护cookie。# 首次使用selenium登录，并将cookies存为文件from selenium import webdriverimport timeimport jsonbr = webdriver.Chrome()br.get("https://mp.toutiao.com")...

2020-02-22 18:51:38 5933

Pythoner的博客