- 博客(5)
- 收藏
- 关注
原创 Jsoup + HtmlUtil 实现网易新闻网页爬虫
1.这里先说明为什么要用HtmlUtil,仅用Jsoup不行吗?如果用Jsoup的方法,那么爬取网页的代码如下,这也是比较简单的形式了。Document docu1=Jsoup.connect(url).get();用上述代码只能爬取静态网页的,当遇到动态网页就会发现你想要的内容爬取不出来。因此我用到了HtmlUtil。具体代码如下:这里面的方法getHtmlFromUrl(St...
2019-01-14 18:24:11 2680 1
原创 myeclipse下通过maven创建springboot
本人的环境jdk1.7 myeclipse10 ,maven 3.5首先配置maven(前提是maven已经配置好) 新建一个maven 项目。 注意上面的第三步骤,不知为什么我都安装了jdk1.7,那个还是1.6,后面会进行修改。完成之后得到的结果为在pom.xml中加入 <!-- Inherit defaults from Spring...
2019-01-10 13:56:31 206
原创 Idea intellij jdk 1.7通过maven创建Springboot项目
1.这里将介绍比较原始的方法。idea 2017.1,当你的jdk是1.8是很好创建springboot项目的,只要通过idea 的spring initial即可方便的创建,这里我的是1.7,因此还没找到怎么通过该方法创建springboot项目。jdk1.7创建Springboot项目,这里你需要先配置在Idea 上配置maven,如下所示。 下面创建一个module,类似在ecl...
2019-01-10 12:20:32 3587 1
原创 python爬虫2
1.这里是记录下怎么是实现用爬虫爬取天气信息再将信息以短信的方式发送给指定的人。首先爬取天气信息,这里爬取深圳的天气,这里如果对爬虫不是很了解可以看下https://www.cnblogs.com/zhaof/p/6930955.htmlimport requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport ...
2019-01-07 11:06:52 248
原创 爬虫基础---1
1.安装requests-----》pip install requestsimport requestsr = requests.get("http://www.weather.com.cn/weather/101280601.shtml")r.encoding="utf-8"print(r.text)会出现如下所示的效果有的网站禁止爬虫,这样的话 需要模拟浏览器发送请...
2019-01-06 20:47:03 117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人