- 博客(11)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 基于Tushare一键生成股票基本面数据
tushare ID：488821开发这个项目完全是出于好奇，就在想自己是否也可以弄出一个类似“芝士财富“这样的一键获取基本面信息的效果。基于Tushare的api文档和streamlit，我用了大概一个月的时间，开发出了这个project，项目网址：一键生成股票基本面数据https://share.streamlit.io/948183482/stream_tushare/main/streamlit_design.py这个项目可以获取以下数据，包括：PE/PB Band，成长能力，盈利能力，现金.
2022-03-22 01:04:17
656
原创 python爬虫训练项目5-豆瓣电影Top250（多线程）
之前和大家分享过豆瓣电影Top250的爬取教程，该教程没有涉及到多线程，爬取的速度稍微会慢一些。python爬虫训练项目2-豆瓣电影Top250（适合初学者）_Ethan奕诚-CSDN博客今天为大家带来了升级版-采取多线程的方式进行爬取，主要是通过 “线程池 ”实现，更改一处即可实现，大家可以翻阅我之前的豆瓣爬虫那篇文章查看源码：Before：if __name__ == '__main__': start = time.time() # 设置爬取页数 for...
2021-11-28 11:13:29
1240
原创 爬虫提升效率必备：多进程和多线程
先了解一些基础概念：进程进程就是正在运行的程序,比如你的系统现在运行着的QQ，就是一个进程，进程和进程之间是互相独立的；单进程就是说你的电脑只能做一件事情；多进程，你的电脑在同一段时间里面，可以 “同时” 执行多个任务。线程在一个进程里面可以执行多个任务，在这里的每一个任务就是线程，线程之间是共享一个进程空间的，一个线程里面可以执行多个函数，线程和进程是通过系统调度的。并行某一个时间段里，可以同时执行多个进程，你吃饭吃到一半，电话来了，你一边打电话一边吃饭，这说明你支持并行并发
2021-11-28 00:00:41
374
原创 python爬虫训练项目3-selenium模拟爬取
今天尝试用selenium+Beautifulsoup爬取b站，整体思路如下：1.在搜索框输入搜索关键词并点击搜索（用selenium定位搜索框和 “搜索 “按钮）2.对搜索页进行分析，首先先获取所有窗口句柄（window_handles)并跳转到搜索页（switch_into)；其次判断搜索到的“总页数 ”（用beautifulsoup）；这里有个特殊情况需要考虑：当关键词的搜索页只有1页时，是不会显示“总页数 ”的网页标签信息的，所以这里要添加页数判断（if...else...）3....
2021-11-06 12:12:42
620
原创 python爬虫训练项目2-豆瓣电影Top250（适合初学者）
尝试对豆瓣电影Top250进行爬虫训练，整体爬虫思路如下：1.对网页进行请求（豆瓣电影Top250为get请求，用requests.get）2.对网页内容进行解析（正则表达式或Beautifulsoup）3.对解析的数据进行保存（pandas或xlwt）此次用Beautifulsoup解析，xlwt写入数据并保存，Beautifulsoup相对于正则表达式能比较容易的解析想要的网页内容，对新手友好；pandas也可以写入数据并做保存，pandas最合适的场景应该是数据处理，所以这里就不大材小
2021-10-24 20:18:10
3294
原创 python gui界面使用心得：tkinter vs pyqt5
最近给实验室设计了两个处理数据的python程序，考虑到程序要方便他人使用以及在其他电脑上使用，就设计了gui界面并进行打包操作。目前是自学了tkinter和PYQT5这两个python界面设计，以下是针对自己的程序设计出的两个界面：tkinter界面pyqt5设计的界面从以上设计出的效果不难看出，由“ pyqt5 ”设计出的效果会更好一点，利用pyqt5的可视化gui设计神器“ qtdesigner ”可以很轻松的设计出上述效果，但上手需要一段时间。tkinter虽然设计出..
2021-10-21 00:00:36
5437
1
原创 python爬虫训练项目1-当当网top500（适合初学者）
这是笔者自己第一次尝试python爬虫，整体框架很早之前就完成了，但一直因为卡在“解析不出来”的困境导致拖了好几天，不过终于在今天茅塞顿开般的解决了。爬虫基本思路：1.用谷歌F12先了解网站的请求方式2.对网页进行请求（requests）3.将返回的数据进行正则表达式解析4.对解析出的数据进行汇总处理并存储到文件中期间遇到的坑1.正则表达式前期做的正则表达式解析时，我是直接复制了该网站的网页元素进行尝试解析，但到后面整体运行时一直没解析出来；后面我发现，requests返回的
2021-10-16 21:06:31
587
如何使pyqt5的父窗口/顶层窗口不闪退？
2021-10-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人