python
文章平均质量分 53
赵雷_
业精于勤而荒于嬉,行成于思而毁于随
展开
-
python 使用pyecharts绘制折线图
根据上篇搞到数据,绘制当天天气折线图。也可以修改下改成Html解析数据然后组合数据放到图上就可以啦。pyecharts文档:https://gallery.pyecharts.org/#/Line/temperature_change_line_chart一、无图无真相二、代码import reimport pyecharts.options as optsfrom pyecharts.charts import Lineimport pymo...原创 2021-03-04 16:56:37 · 5114 阅读 · 3 评论 -
python 使用selenium模拟点击爬取中国天气
中国天气:你们天天爬人家喔。使用库 selenium,xpath,mongodb一.无图无真相省市县表一天时段天气信息二、流程数据分析点击北京下面是北京的区,点击河北->石家庄->鹿泉。ok,是直辖市只有区,不是是省市县有三层。用selenium模拟浏览器依次点点点,有人问为啥不用解析Html,看下图因为是js操作,我也没抓到接口。顺道使用selenium练习练习啊有个selenium真的so easy,我觉得真的是太好用了。...原创 2021-03-04 15:22:20 · 533 阅读 · 3 评论 -
python csdn自动关注
csdn自动关注,就能搞到两千。不是通过解析html,通过抓接口进行关注。MySQL存入用户信息到数据库。一、二、代码import timeimport pymysql # pymysql数据库from fake_useragent import UserAgentimport requests as request # 网络请求requestimport jsonuserName = "" # 设置自己用户名称token = "" #...原创 2021-03-01 16:22:25 · 1489 阅读 · 14 评论 -
python 使用mongdb数据库
Mongdb数据库是基于分布式文件存储的数据库。跟Mysql不一样,更利于保存json,文档数组之类,比如存入 Mysql对象还要进行序列化。这篇博客只是简单的增删改查适合萌新,如果你已经会了的大佬可以看别的啦。环境是Mac环境,代码通用。一、安装数据库和工具使用brew安装就可以啦,中间你的电脑brew如果可能需要更新会出现小问题。但是仔细看log一般,shell里面会有提示,直接复制运行把error搞定就可以啦。...原创 2021-02-28 15:38:54 · 310 阅读 · 4 评论 -
python 爬取猫眼电影排行
这篇学习了是崔庆才老师的《python3网络爬虫开发实践》中的案例自己学习了下。大家可以买啊,通俗易懂。秉承着无图无真相的精神。嘿嘿一、代码import re #正则表达式import pandas as pd #excel保存 import requests as request #网络请求requestfrom fake_useragent import UserAgent #请求头参数构建class CatEyeSpiper(object): #初始化参数...原创 2021-02-21 22:15:36 · 778 阅读 · 7 评论 -
python 爬取链家北京租房信息
结果图镇楼。无图无真相。。。。嘿嘿参考了一篇链家石家庄的文章,但是那篇已经没法用了规则变了,我又重新写了一份。https://blog.csdn.net/hihell/article/details/84029492一、效果图二、代码import refrom fake_useragent import UserAgentfrom lxml import etreeimport asyncioimport aiohttpimport pandas as pd...原创 2021-02-20 17:20:12 · 1060 阅读 · 9 评论 -
python 简单爬取简书首页
基础简单的抓取1.通过BeautifulSoup来解析网页获取到所有链接2.通过正则判断链接的完整性是否追加域名3.写入到txt文件一.代码import randomimport reimport requests # 网络请求模块from bs4 import BeautifulSoupfrom meikoDB01 import getHeadersif __name__ == '__main__': response = requests.get('htt.原创 2021-02-19 14:52:50 · 345 阅读 · 0 评论 -
python 抓取美女图片
写的很垃圾但是能用。一、下载单张图片def run(): response = requests.get("https://publish-pic-cpu.baidu.com/56ca17ca-7086-430f-900d-1de68928ef72.png") with open("56ca17ca-7086-430f-900d-1de68928ef72.png", "wb") as f: f.write(response.content) ..原创 2020-12-01 10:51:03 · 674 阅读 · 3 评论