没有使用复杂的方法,最简单的了下面是图文
创建python的一个文件,需要导入的库
连接数据库配置,配置headers
下一步就 百度搜索 东方财富,进入随便找个股票,以上证个股为例
看下这个页面的逻辑,有分页,分也时 url是不变的,很明显就是ajax了,我用的最low的方法就是遍历 url
第一页20条数据 第二页到最后都是20条
逻辑就在 这个url里面, &p=1 &ps=20 最后一个&_=1540286711823 这个貌似可有可无 看效果
p=1 改成5 ps=20 改成5 第五页出现五条数据
逻辑清晰了 name就可以写代码了
之所以用最low的方法 就是这个最不费劲 ,爬取json数据最简单,url已给 进去的直接包装拿走就行了
跳过ajax 直接遍历url 每页一条数据,看了下总共1442条,format就行了
然后就是json数据的格式 正则把不需要的给去掉
写入数据库的时候 字段有点多 不要写错了 不然就各种报错
这么low的代码 到这里也就写完了,各位大神们手下留情,我也是个小白 入行不久 应该对小白们稍微有些许帮助。我知道自己有许多不足,我会继续努力!