这个面它又长又宽

悟以往之不谏,知来者之可追

获取pm2.5历史数据,爬虫爬取https://www.aqistudy.cn/historydata/

网站:https://www.aqistudy.cn/historydata/ 前言: pm2.5的数据源比较多,但是历史数据比较少,很多网站不是很全,如图,这个网站的数据在同类网站中是算比较全面的了,界面也很简约清晰。一开始我爬取这个网站的时候看到网页结构很简单以为简单的构造请求...

2019-06-20 18:31:00

阅读数 14

评论数 0

爬取淘宝买家秀,sign值的生成

最近在做关于淘宝买家秀的爬虫,其中无非就是关于sign的生成相关的几个点。这里我来介绍下自己总结的几个点。 1.数据 如图。淘宝传下来的数据存在js文件中 2.参数 appKey: 12574478 t: 1560094920983 sign: 9fd51773ab6c80205...

2019-06-10 00:40:35

阅读数 118

评论数 3

KFC门店信息获取 爬虫实战

最近在帮客户做东西时需要用到kfc的门店信息查询数据,在浏览了一圈博客之后,貌似大家都是采用 selenium + PhantomJS 这种方式抓取kfc的ajax动态网页, 其实在分析了一波该网站的请求之后,相对来说还是很简单的一个爬虫,该网站甚至没有做浏览器的验证 url =http...

2019-06-06 23:35:04

阅读数 39

评论数 0

利用selenium 爬取网页数据

有些网站的数据是加密过的,不能直接通过请求的方式获取。于是我们可以利用脚本测试工具selenium来控制浏览器从而爬取数据。 安装: chrome: 地址栏输入chrome://settings/help查看浏览器版本信息: 去:http://chromedriver.storage....

2019-06-06 23:33:47

阅读数 16

评论数 0

bootstrap datetimepicker的使用

在前端页面的开发中,我们经常要用到日期选择控件。而datetimepicker则是一个非常方便的控件 页面效果: 引入资源文件: <link rel="stylesheet" href="https://cdn.staticfil...

2019-04-16 22:28:56

阅读数 33

评论数 0

bootstrap-table 常用用法

页面效果: 导入资源: <link href="https://cdn.bootcss.com/bootstrap-datetimepicker/4.17.47/css/bootstrap-datetimepicker.min.css" rel=&quo...

2019-04-16 22:19:30

阅读数 26

评论数 0

python爬虫中 lxml etree的用法

import requests from lxml import etree url = 'https://dblp.org/pers/hd/p/Petersen:Karin' html = requests.get(url) html = etree.HTML(html.text) #初始化生...

2019-04-11 18:42:31

阅读数 222

评论数 0

python 打开xls文件写数据

因为在写爬虫的时候要经常用到写Excel文件,于是总结一下: rb = xlrd.open_workbook('test.xls', formatting_info=True) wb = xl_copy(rb) sheet = wb.add_sheet('test') sheet.write...

2019-03-31 10:21:11

阅读数 71

评论数 0

python 爬虫 中乱码问题0xb5 和b'\x1f\x8b\x08

在爬取网页时经常碰到乱码问题,其中: b'\x1f\x8b\x08开头: import gzip ret = gzip.decompress(res).decode("utf-8") 另外一位博主的解决: import urllib.request from io ...

2019-03-31 09:57:28

阅读数 143

评论数 0

阿里云 ubuntu mysql 配置文件位置

vim /etc/mysql/mysql.conf.d/mysqld.cnf

2019-03-01 11:47:39

阅读数 196

评论数 0

python-flask 完整项目结构搭建

![logo-full](/Users/crack/Desktop/logo-full.png Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。Flask也被称为 “microframework” ,...

2019-02-21 15:11:21

阅读数 426

评论数 0

pyecharts map在使用时地图能显示但没数据的解决办法

今天在做一个小东西时需要用到pyecharts的 map 出现如图问题 有数据,地图显示但地图上不显示数据。在细心检查后发现,该API接口中的地名后面都带有行政区名称,如‘市’,‘县’ 于是在数据中加入了一个’市‘字,数据便完全显示了出来: 是不是很水??? 哈哈,有时候就是...

2019-01-31 16:16:40

阅读数 314

评论数 0

安卓加载gif图片

效果图: 1.引入Glide implementation 'com.github.bumptech.glide:glide:4.8.0' annotationProcessor 'com.github.bumptech.glide:compiler:4.8.0'  2.布局文件 ...

2019-01-28 16:29:51

阅读数 140

评论数 0

安卓浮动菜单RapidFloatingActionButton的·使用(转)

开头先附上大佬的地址: https://github.com/wangjiegulu/RapidFloatingActionButton 效果图:   效果很赞(我啥时候才能写出何样的代码啊--呜呜呜~~~) 项目引入 Gradle implementation 'co...

2019-01-28 15:56:54

阅读数 36

评论数 0

安卓圆形图片控件CircleImageView的使用

CircleImageView的使用 ​ 在安卓开发中,我们常常会碰到一些圆形图片控件的困扰,而选择一款方便的圆形图片控件便成为了提高开发效率的有效手段,下面我推荐一款github上的项目,也是我本人经常使用的一款控件,因为用的比较多,随mark下来以方便下次使用 项目地址: https://gi...

2019-01-28 15:15:31

阅读数 44

评论数 0

联想ideapad 700 15-isk mojave 最新Clover 分享

最近假期在家,于是折腾了一下黑苹果,并如愿吃到了最新的Mojave话不多说上图     我的机器配置如下: I5-6300HQ  HD-530 显卡950m; 目前来说除了核显和网卡全球无解之外,其他的都还算完美,其中重点通过动态补丁解决了解决了核显7mb的问题(这个问题很常见,有...

2019-01-26 12:24:17

阅读数 477

评论数 3

树莓派光敏传感器控制LED小灯的开关

今天来做一个关于光敏传感器的使用demo,如图,我采用的是普通用于开发的光敏传感器 传感器的基板上有两个LED,上一个是表示DO的高低电平,下一个表示是否通电     当挡住传感头之后,DO-LED熄灭(事先需要调节电位器。就是图上那个蓝色的东西)很重要。很重要。很重要    ...

2018-11-15 18:42:52

阅读数 2126

评论数 0

SSH框架简介+C3P0连接池(个人学习笔记非教程)

前言:本人在学习过程中喜欢写一点自己的体会与心得,遂挂到csdn上分享一下,有错误欢迎评论区或私信指出 SSH框架简介 Spring+Struts+Hibernate(虽然已经过时,但并不成为我们不学它的理由,因为我们有着更好的理由去学习它) Spring+SpringMVC+Mybati...

2018-11-09 11:28:05

阅读数 30

评论数 0

树莓派搭建Git私有服务器

最近参加比赛后手里一直有块树莓派闲置,于是乎就想发挥一下这块树莓派的余热,顺便提升下自己的动手能力(手动滑稽),用树莓派做一个自己的git服务器 现在开始准备工作 我选用的是树莓派官方提供的系统https://www.raspberrypi.org/downloads/raspbian/  ...

2018-11-09 11:15:59

阅读数 168

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭