自学笔记1--爬虫分析中国人民银行货币政策报告1

看Python爬虫这么火,自学一下,搞个小项目练练手。

目标爬下每个季度的中国人民银行货币政策执行报告,分析其中看上去最重要的“中国宏观经济形势”和“下一阶段主要政策思路”,分析其每个自然段的第一句话的变化情况。结合利率市场和M2投放量数据看看相互间的关系,写一篇知乎文章出来。

这个项目以为比较简单的,但是实施起来发现难度很大。。。主要还是我太水。。。

主体需要做的内容,首先从 央行官网把政策报告都下载下来,然后pdfminer把PDF转成文本,分析其中文本。

主要遇上的坑:

1. 直接用beautifulsoup似乎不行,findall("a")一个链接都没找到,诡异的很。只好换了selenium。

2. 很多教材上都是用selenium+phantomJS,然后phantomJS已经不更新了。换用Chromedriver解决。

原先以为内容分析难一点,所以爬虫是后做的。下面一行命令

pdf2txt.py samples/simple1.pdf

就可以输出TXT格式,现在还没批量搞,所以没用更高级的方法。

拿到TXT之后读入,思路就是找到第二次出现“一、中国宏观经济展望”的位置,然后读到尾。似乎每个自然段都是“句号+空格+回车”结束的。所以以此分割之后,把50字以内的自然段扔掉。第一个句号前面的就是第一句了。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值