![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
我还差得远呢
有的爱像阳光倾落,边拥有,边失去着
展开
-
python爬虫技术
首先感谢陈堰平老师这几天辛苦的教学,不管是助教还是学员,在您的课堂上都收获良多!!我借助陈老师总结的思维导图展开介绍一下爬虫 首先要明确一点,爬虫是从网站中提取到我们需要的数据,而网站是程程序员写的,每个网站的使用的语言、每个人代码的习惯、每个数据在网站中的位置肯定不会是一模一样的,我们需要根据网站的情况不断更改我们的爬虫 一、网页基础 简单说一下静态网页和动态网页对于爬虫的区别,...原创 2018-08-03 22:11:45 · 442 阅读 · 0 评论 -
python爬虫——大众点评——商户评论
### 今年大众点评已经可以识别selenium,使用这个就会被封,建议大家另寻其他方法 ### 貌似是有一些编译过的webdriver,可以把请求里代表测试工具的关键字拿出来 抓取内容:大众点评-北京-海淀区-美食商户-近三个月内的评论 需要的配置:chrome浏览器,python的selenium包,selenium 启动selenium,执行下面代码,之后可以看到一个新的chrome...原创 2018-10-28 17:07:39 · 4189 阅读 · 2 评论 -
python读取数据
1.读取文件夹下的所有数据 import os import pandas as pd #文件夹路径 path = '' #读取文件夹下文件名 files = os.listdir(path) data_list = [] for file in files : x = pd.read_csv(file) data_list.append(x) #合成一个dataframe ...原创 2018-10-29 01:21:17 · 1146 阅读 · 0 评论 -
pyhong爬虫——大众点评——用户信息
1.前一部分依旧没有变化,不过用户的链接从哪来呢,从上一期的商户评论里拿到了用户个人主页的链接,建了一个csv文件,从而用作这次爬虫的链接库。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDrive...原创 2018-10-31 01:55:08 · 1900 阅读 · 0 评论 -
python爬虫——网易云音乐
最近爬虫搞得头很大,主要是自己太菜,对付网易云音乐实在搞不定,网易云的部分内容使用api传输,靠大神的指导终于完成了,话不多说大神的代码送上 #python3 # -*- coding: utf-8 -*- # File : spider1.py # Author: Wang Chao # Date : 2018/11/5 import requests import json from ...转载 2018-11-06 01:54:42 · 918 阅读 · 0 评论