十方上下

任务三：使用微信机器人和极光API推送消息一、微信机器人推送消息使用微信机器人的本质其实就是使用Web端微信，所以有不少的限制，比如 近几个月申请的新微信号是不能登录的 （亲测证实），要注意。在python中使用微信可以使用wxpy库，也可以使用itchat库使用代码发送消息的步骤与自己操作微信给好友发消息步骤相同。登录微信找到对应好友发送消息...

需求分析这两天想把分析处理之后的数据，做一个定时发送，按照自己设想和百度搜索，发现有以下几种办法。（只是我发现比较大众化的办法，不代表只有这几种方法）发送邮件QQ机器人微信机器人极光API技术测试最后经过实际测试，微信机器人和极光API都能满足我的需求，但各有优缺点！QQ机器人 使用的是Web端QQ接口，而WebQQ现在已经停用，舍弃！邮件发送 延时太高，最高长达到3分钟，因...

最近把基础的数据爬取和存储都学习完了，开始进行数据的显示，考虑到通用性，还是使用Web方式来显示数据吧。所以接下来就开始django学习之路，因为django是一个免费并且强大的开源Web框架。使用pycharm创建django项目步骤如下：1、创建项目创建好以后，项目就已经包含Django模块了。项目目录如下：具体这些目录和文件有什么用，我们下一篇再介绍。2、创建...

SQLite是什么东西呢？SQLite 是一个数据库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是在世界上最广泛部署的 SQL 数据库引擎。SQLite 源代码不受版权限制。最最最最重要的是，单机版程序使用SQLite不用进行任何安装，Python标准模块已经包含了对SQLite的操作。操作代码如下：# coding=utf-8impo...

从页面读取数据每次都需要定位HTML标签，那么有没有更简洁的办法呢？当然有，那就是找到页面数据的来源，分析哪些数据是我们想要的，直接通过WebAPI来获得数据。我使用的是360极速浏览器，按F12后，再点“NetWork”，就可以看到页面加载的相关数据来源。通过不断的更改日期，对比发现，上面两张图中红框部分就是页面数据产生变化的来源。逐个点击红框中的链接，观察右侧返回的数据，判...

热点板块页面：https://xuangubao.cn/dingpan/redian一、首先分析板块名对应的标签二、根据板块名在excel文件中创建对应的sheet，excel的操作这儿就不细说了，主要使用xlwt、xlrd和openpyxl三个库。因为每天的热点板块有可能相同，所以相同的板块就不用再新建sheet，只需要添加数据即可。三、根据板块代码，读取板块的龙头信息。板块龙头...

今天在测试下载本月（5月）数据时发现，只有6号、7号、9号和15号有数据，其他日期的数据都是完全相同的。如何解决这个问题？通过观察发现，没有数据或数据读取很慢时，页面上会出现这样的进度条：所以修改代码，加了数据验证判断，进度条这个DIV出现时，就每隔1秒再读一次，10秒后如果还没有得到数据则跳过。 # ——————判断是否加载完毕—————— def is_l...

在淘股吧发现有位大牛每天都有数据整理，地址：湖南人的博客所以直接下载他的博客文章即可。分析发现，他复盘的数据都是使用的图片，所以只需要把博客文章里面的图片下载到本地。第一步：分析首页数据：通过blogs = self.browser.find_elements_by_css_selector(".article_tittle")，可以得到首页的文章列表，点击超链接跳转到内容页...

前面的文章已经解决了数据问题，接下来的重点就是对数据进行分析。对于短期行情最直观的情绪数据，就是看每天涨停票数量的变化。今天因为是边学边做，所以先画个简单的，只显示涨停票数变化的趋势图。实现步骤如下：一、得到dapan_xxxx_xx.csv中第1列（日期）和第4列（涨停数）的数据。def get_weight_data(filename): time = []...

具体实现步骤如下：一、打开打开盯盘页面，分析日期控件。二、点击该区域，出现年-月-日界面。三、点击“1”号，判断日期是否已改变，改变后下载数据。四、重复步骤一、二、三，一直点击到该月最后一天，如果是当前月份，则点击到当天结束。实现代码如下：from selenium import webdriverfrom bs4 import BeautifulSoup...

修改后的结构如下图所示：common目录下是通用文件，test目录下是功能文件，test目录下的agudata用于保存A股每月的数据一、xgb_data.py，用于保存xgb网站需要的个人信息，如登录的账号密码，第二次使用的COOKIE信息等二、mysql_oper.py 对mysql数据库的操作，连接数据库，查询和增删改三、datetime_oper.py 将指...

本篇解决的问题：如果某个月有几天忘记保存数据了怎么办？只能查看历史数据，然后再重新下载，但之前写的代码都是下载当天的数据，所以把整个项目实现的思路进行了重构，功能如下：1. 从“选股宝”网站，根据选择的月份下载当月的所有数据，如果是本月，则下载到当前时间截止。（后期考虑准备2个备用数据来源网站，防止该网站不可用时没有数据来源）2.下载的数据保存到CSV文件，后期考虑保存到MySql数据库（...

使用Python操作CSV文件非常方便，三行代码搞定。一、向文件中追加数据import csv# 将数据写入文件with open("d:\\data.csv", "a", newline="") as cf: w = csv.writer(cf) w.writerow([1001, "北京"]) w.writerow([1002, "上海"]) w...

现在很多页面上的数据都是动态加载，所以使用scrapy来爬取页面，只能得到页面HTML的布局代码，而不能获得数据。而且对于新手，上路就使用scrapy爬动态数据比较困难，所以使用selenium来打开浏览器，再加载页面获得数据。需求：统计每天大盘收盘后的汇总数据。找到了一个网站https://xuangubao.cn/dingpan，每天收盘后的数据都在该页面上。下...

前一篇的多线程程序写好后，就可以挂在后台执行了，但在编写后面代码时，总是容易中断所以我们可以把当前处理代理IP的程序打包生成exe文件后运行，这就，就不会影响后面的编码了。我们可以直接通过pycharm来打包成windows环境下可执行exe文件。操作步骤如下：在pycharm中安装插件pyinstaller，安装过程中会自动安装pywin32。 在文件上点右键，选择弹出菜单中的...

上一篇我们找到了代理，大家在实现过程中应该发现，每次循环除了3~5秒冷却，验证代理IP也需要时间，上万的IP，每个IP的验证时间平均按1秒算，也需要10000+秒！太慢了！！！如何解决这个问题呢？日常生活中，餐馆做饭一般都是两个人，一个负责洗菜切菜，一个负责炒菜。这样可以大大提高效率。这就是——多线程！百度百科关于多线程的概念：多线程（英语：multithreading），...

Python操作数据库非常的方便。不同的数据库你需要下载不同的DB API模块，例如你需要访问Oracle数据库和Mysql数据，你需要下载Oracle和MySQL数据库模块。DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各种各样的底层数据库系统和多种多样的数据库接口程序提供一致的访问接口 。Python的DB-API，为大多数的数据库实现了接口，使用它...

开发环境：win7 x64版本，python 3.6，Anaconda3 (64-bit)因为频繁访问容易被封IP，所以我们需要使用代理来进行数据的爬取（当然你也可以放慢节奏，比如每5秒爬一条记录）。经过测试，发现http://www.66ip.cn/比较好用，接下来，先把到66ip上把所有能用的代理IP都保存下来。66ip网站代理IP的HTML源码如上图所示，所以，首先要找到该t...

项目背景：之前写了一个系列叫《Java从入门到放弃》，现在看到Java的市场份额逐月狂降，看来，真正放弃的时候快要了。放弃Java这门语言，不代表放弃软件开发，软件制作的思维是通用的。所以打算以项目的形式来快速上手学Python的数据分析。项目分析：现在市面上做数据分析的太多了，最火的首选股票。为什么选择股票呢？我们来分析分析，1. 数据丰富，各大财经网站都可以去爬数据...

Pycharm是什么工具，不用过多解释吧。破解分四步，步骤如下：一、下载Pycharm2018.2版链接: https://pan.baidu.com/s/1lvf_6iAkXQx49IC54YNbXA 提取码: q99kPS：如果自行在官网下载，一定要记住，是下载2018.2版。二、安装并运行，之后关闭PS：一定要记得打开后，再关闭。三、下载破解补丁...