![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自用参考
游客姥爷请绕行。
宋建国
接下来要更新的内容有:Flask全栈知识
展开
-
11_超级鹰学习及应用
#超级鹰官网http://www.chaojiying.com/user/login/#使用时需要下载开发文档api模块,导入使用即可,写的挺明白的#############用超级鹰破解超级鹰登录界面from selenium.webdriver import Chromefrom chaojiying import Chaojiying_Clientimport timeweb = Chrome()web.get("http://www.chaojiying.com/user/login原创 2022-03-10 08:05:51 · 333 阅读 · 2 评论 -
10_selenium解析及应用
##########################3##selenium引入# 能不能让我的程序连接到浏览器 . 让浏览器来完成各种复杂的操作, 我们只接受最终的结果# selenium: 自动化测试工具# 可以: 打开浏览器. 然后像人一样去操作浏览器# 程序员可以从selenium中直接提取网页上的各种信息# 环境搭建:# pip install selenium -i 清华源# 下载浏览器驱动:http://chromedriver.storage.googleapis原创 2022-03-09 17:24:24 · 691 阅读 · 0 评论 -
9_协程及应用
import asyncioasync def func1(): print("你好啊, 我叫潘金莲") await asyncio.sleep(3) print("你好啊, 我叫潘金莲")async def func2(): print("你好啊, 我叫王建国") await asyncio.sleep(2) print("你好啊, 我叫王建国")async def func3(): print("你好啊, 我叫李雪琴")原创 2022-03-09 17:08:45 · 223 阅读 · 0 评论 -
8_多线程+多进程及应用
#################################### 多线程from threading import Thread # 线程类####多线程第一套写法---推荐# def func():# for i in range(1000):# print("func", i)### if __name__ == '__main__':# t = Thread(target=func) # 创建线程并给线程安排任务# t.star原创 2022-03-09 16:48:38 · 107 阅读 · 0 评论 -
7_防盗链的处理
# 1. 拿到contId# 2. 拿到videoStatus返回的json. -> srcURL# 3. srcURL里面的内容进行修整# 4. 下载视频import requests# 拉取视频的网址url = "https://www.pearvideo.com/video_1721605"contId = url.split("_")[1] #拿到需要替换的后面数字序列#网址前加f是为了使用如下的格式化数据填充形式videoStatusUrl = f"https://w原创 2022-03-09 08:28:50 · 219 阅读 · 0 评论 -
6_Session+保持cookie
# 登录 -> 得到cookie# 带着cookie 去请求到书架url -> 书架上的内容# 必须得把上面的两个操作连起来# 我们可以使用session进行请求 -> session你可以认为是一连串的请求. 在这个过程中的cookie不会丢失import requests# # 会话# session = requests.session()# data = {# "loginName": "18614075987",# "password": "原创 2022-03-09 08:28:19 · 1115 阅读 · 0 评论 -
5_xpath解析
# xpath 是在XML文档中搜索内容的一门语言# html是xml的一个子集"""<book> <id>1</id> <name>野花遍地香</name> <price>1.23</price> <author> <nick>周大强</nick> <nick>周芷若</nick> &l原创 2022-03-09 08:27:48 · 1163 阅读 · 2 评论 -
4_bs4解析
# 安装# pip install bs4 -i 清华# 1. 拿到页面源代码# 2. 使用bs4进行解析. 拿到数据import requestsfrom bs4 import BeautifulSoupimport csvurl = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml"resp = requests.get(url)f = open("菜价.csv", mode="w")csvwriter = csv原创 2022-03-09 08:27:18 · 181 阅读 · 0 评论 -
3_re演示+csv存储
# 拿到页面源代码. requests# 通过re来提取想要的有效信息 reimport requestsimport reimport csvurl = "https://movie.douban.com/top250"headers = { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.原创 2022-03-09 08:26:46 · 92 阅读 · 0 评论 -
2_re解析
import re# # findall: 匹配字符串中所有的符合正则的内容# lst = re.findall(r"\d+", "我的电话号是:10086, 我女朋友的电话是:10010")# print(lst)## # finditer: 匹配字符串中所有的内容[返回的是迭代器], 从迭代器中拿到内容需要.group()# it = re.finditer(r"\d+", "我的电话号是:10086, 我女朋友的电话是:10010")# for i in it:# prin原创 2022-03-09 08:24:18 · 71 阅读 · 0 评论 -
1_requests请求
# 安装requests# pip install requests# 国内源# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requestsimport requests# query = input("输入一个你喜欢的明星")query = "周杰伦"url = f'https://www.sogou.com/web?query={query}'dic = { "User-Agent": "Mozilla/原创 2022-03-09 08:23:16 · 165 阅读 · 0 评论 -
旧song_tools(画图,数据处理,机器学习数据抽样)
""" 这是宋建国自己的简易工具包 导入jupyter时 from imp import reload 更改文件时重新导入函数 import song_tools.song_tools 导入py文件 reload(song_tools.song_tools) 重新导入py文件 from song_tools.song_tools import * 只能通过导入函数的形式"""""" 运行库导入 """import seab原创 2021-11-17 09:54:23 · 103 阅读 · 0 评论 -
华来-猎聘-数据库数据差异比对-直接取数据(看数据库操作用法)
init.py#mysql密码password = ""#数据库名1(预测数据)database1 = "old"#数据库名2(数据组标注数据)database2 = "new"#输出文件路径和名称out_file = "./数据库差异.xlsx"main.pyimport pandas as pdfrom data_privode import *from data_process import *import times = time.time()data_di原创 2021-11-17 09:33:12 · 100 阅读 · 0 评论 -
华来-猎聘-数据库数据差异比对-指针切换(看数据库操作用法)
init.py#mysql密码password = ""#数据库名1(预测数据)database1 = "old"#数据库名2(数据组标注数据)database2 = "new"#输出文件路径和名称out_file = "./数据库差异.xlsx"main.pyimport pandas as pdfrom data_privode import *from data_process import *import times = time.time()data_di原创 2021-11-17 09:31:20 · 95 阅读 · 0 评论