diju9943-CSDN博客

转载【Python爬虫】第五课（b站弹幕）

首先，非常感谢大神的文章https://www.cnblogs.com/LexMoon/p/pyspider03.html#4361286 import requests import re av_id = '67946325' headers = { 'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKi...

2019-09-23 22:21:00 123

转载【Python爬虫】第四课（查询照片拍摄地址）

首先，要能够查询到照片地址，查询的照片必须要开GPS拍，且上传时用原图…… 查询图片的exif信息，使用exifread包 import exifread img = exifread.process_file(open(path), 'rb') longitude = img['GPS GPSLongitude'] latitude = img['GPS GPS...

2019-09-22 22:07:00 222

转载一些tips

1. 我想要安装一个包，在terminal中pip install xx是最方便的，但是pip还没安装，怎么办？输入sudo easy_install pip即可。转载于:https://www.cnblogs.com/break03/p/11568672.html...

2019-09-22 18:52:00 50

转载【Python爬虫】第三课（提取数据）

提取HTML数据 import requests from bs4 import BeautifulSoup url = 'https://www.douban.com/' header = { 'Accept':'*/*', 'Accept-Encoding':'gzip,deflate,br', 'Accept-Language':'zh-CN', 'Conn...

2019-09-22 17:39:00 97

转载【Python爬虫】第二课（请求头设置）

为什么要设置请求头？第一课中提到request.get(url)，但是对一些网站, 爬取时会发现返回<Response [403]>。403是网站的反爬机制造成的，如果仅仅是发送web服务器一个页面请求，web服务器连你一些基本信息都不知道，这时候会被视为非正常的访问，无法爬取成功。因此需要加入headers伪装成浏览器请求访问。请求头加入附加信息: Acce...

2019-09-22 14:58:00 198

转载【Python爬虫】第一课

学习爬虫的目的是什么？我目前的理解是爬虫是为了批量访问并获取数据，比如我希望分析各地房价的变化，那我就需要定期爬取房地产相关网站最新房价数据。先看下面的代码 import requests #import requests包 url = 'http://www.baidu.com' resp = requests.get(url) print(resp) #返回...

2019-09-22 12:07:00 118

转载【数据分析】如何进行数据分析

序言：最近遇到的困难是将我们业务接入一个大用户体量的App，而我们目标用户一定是在该App的使用用户范围内。但接入一个月，成交量极低。我们都想知道为什么成交量这么低。数据分析核心思维：找两组变量之间的关系分析步骤： 1. 感知问题第一种是最终结果有问题（对比法）。这个最终结果对目前业务而言就是订单量（完成18单14.4%，取消103单，终止4单，共125单...

2019-09-22 10:06:00 102

转载【数据分析】派单排序策略优化验证（附sql查询代码）

SELECT cityname, avg(移动时间),avg(移动距离),avg(服务时间), count(t1.orderid) FROM( SELECT orderid, taskstatus, cityname,TIMESTAMPDIFF(second,start_time,end_time) AS 移动时间,distance as 移动距离, TIMESTAMPDIFF...

2019-09-19 17:17:00 213

转载 python基础01

1. 切片 range等的左闭右开原因：迭代器一般不支持比大小，但支持比较是否相等，while循环是否终止用i != n判断 2.遍历满足条件就停止，全部遍历完还没找到就告知没有需要一个flag=0,满足条件置为1.当flag最终没有变为1，就表示没有找到 3.a.append(b) 是没有结果输出的，所以a= a.append(b)结果是None 这么看来l...

2019-09-08 16:52:00 49

diju9943的博客