数据采集(二):腾讯新闻网,新闻标题和内容爬取

标签: 数据挖掘 新闻 爬虫
2008人阅读 评论(0) 收藏 举报
分类:
比如我对“科技”版块感兴趣,科技版块的链接是“http://tech.qq.com/” 。 首先使用requests请求网页内容。status_code为200表示请求成功。headers是将请求伪装成浏览器行为。timeout设置不能太小,考虑到人的访问手速。
import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
}
url="http://tech.qq.com/"
result=requests.get(url,headers=headers,timeout=2)
print result.status_code
200 使用BeautifulSoup库从网页内容中解析出标题和内容
from bs4 import BeautifulSoup

content=result.content
soup=BeautifulSoup(content,fromEncoding=result.encoding)
解析标题,和标题上的超链接
import re

def has_no_string(tag):
    return tag.name=='a' and tag.string!=None

samples=soup.find('div','list first').find_all(has_no_string,target='_blank',href=re.compile('tech\.qq\.com'))

news_titles = []
news_urls = []

for sample in samples:
    title=sample.text.strip()
    url=sample['href']

    news_titles.append(title)
    news_urls.append(url)

news_dic={'title':news_titles,'url':news_urls}
引入pandas库,将新闻标题和超链接数据导入到dataframe,便于观察和分析处理
import pandas as pd

news_df=pd.DataFrame(news_dic)
news_df
title url
0 董明珠:我可以不要互联网 但它离不开我 http://tech.qq.com/a/20170719/046210.htm
1 可卸载新规实施半月 手机预装软件仍难卸载 http://tech.qq.com/a/20170719/045379.htm
2 中兴通讯上半年营收为540亿元 同比增长13% http://tech.qq.com/a/20170719/045625.htm
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 http://tech.qq.com/a/20170719/045552.htm
4 一加手机在美摊上事了!拨911会重启 http://tech.qq.com/a/20170719/036951.htm
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 http://tech.qq.com/a/20170719/037848.htm
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 http://tech.qq.com/a/20170719/003212.htm
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 http://tech.qq.com/a/20170719/045356.htm
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 http://tech.qq.com/a/20170719/045876.htm
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 http://tech.qq.com/a/20170719/020157.htm
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 http://tech.qq.com/a/20170719/043987.htm
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 http://tech.qq.com/a/20170719/043620.htm
12 谷歌推出自家新闻推送服务Google Feed http://tech.qq.com/a/20170719/046100.htm
13 IBM连续21季度营收下滑为何仍能实现盈利? http://tech.qq.com/a/20170719/043225.htm
14 海信侧面回应夏普:从不惹事,但绝不怕事! http://tech.qq.com/a/20170719/041247.htm
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 http://tech.qq.com/a/20170719/042869.htm
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” http://tech.qq.com/a/20170719/036864.htm
17 Snap开始在亚马逊上开卖智能眼镜Spectacles http://tech.qq.com/a/20170719/042047.htm
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 http://tech.qq.com/a/20170719/041604.htm
19 IC Insights:今年全球存储芯片销售将创历史新高 http://tech.qq.com/a/20170719/042434.htm
20 “徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期 http://tech.qq.com/a/20170719/025913.htm
21 花点时间获B轮融资 未来布局国际化 http://tech.qq.com/a/20170719/041038.htm
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 http://tech.qq.com/a/20170719/035626.htm
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 http://tech.qq.com/a/20170719/040199.htm
24 “傻白甜”CEO是互联网创业界的土特产 http://tech.qq.com/a/20170719/035414.htm
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 http://tech.qq.com/a/20170719/037409.htm
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 http://tech.qq.com/a/20170719/039640.htm

对上面步骤得到的每个url,再次发起请求,得到的网页包含新闻内容,使用BeautifulSoup从中解析出新闻内容文本

news_texts = []

for url in news_urls:
    result1=requests.get(url,headers=headers,timeout=2)
    content1=result1.content
    soup1=BeautifulSoup(content1,fromEncoding=result1.encoding)
    main_article=soup1.find('div',class_="Cnt-Main-Article-QQ")
    text_tag_list=main_article.find_all('p',class_='text')

    news_text=''
    for text_tag in text_tag_list:
        string=text_tag.string
        if string!=None and string!='DUMMY_TAG':
            news_text+=(string+'\n')
    news_texts.append(news_text)
text_dic={'content':news_texts}
同样将新闻内容存入dataframe
text_df=pd.DataFrame(text_dic)
text_df
content
0 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20
21 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

将两个dataframe合并

news_df_merge=pd.merge(news_df,text_df,right_index=True, left_index=True)
news_df_merge
title url content
0 董明珠:我可以不要互联网 但它离不开我 http://tech.qq.com/a/20170719/046210.htm 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 http://tech.qq.com/a/20170719/045379.htm 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% http://tech.qq.com/a/20170719/045625.htm 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 http://tech.qq.com/a/20170719/045552.htm Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 http://tech.qq.com/a/20170719/036951.htm Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 http://tech.qq.com/a/20170719/037848.htm 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 http://tech.qq.com/a/20170719/003212.htm 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 http://tech.qq.com/a/20170719/045356.htm SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 http://tech.qq.com/a/20170719/045876.htm The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 http://tech.qq.com/a/20170719/020157.htm 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 http://tech.qq.com/a/20170719/043987.htm BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 http://tech.qq.com/a/20170719/043620.htm O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed http://tech.qq.com/a/20170719/046100.htm BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? http://tech.qq.com/a/20170719/043225.htm 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! http://tech.qq.com/a/20170719/041247.htm 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 http://tech.qq.com/a/20170719/042869.htm 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” http://tech.qq.com/a/20170719/036864.htm 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles http://tech.qq.com/a/20170719/042047.htm Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 http://tech.qq.com/a/20170719/041604.htm Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 http://tech.qq.com/a/20170719/042434.htm 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20 “徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期 http://tech.qq.com/a/20170719/025913.htm
21 花点时间获B轮融资 未来布局国际化 http://tech.qq.com/a/20170719/041038.htm 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 http://tech.qq.com/a/20170719/035626.htm 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 http://tech.qq.com/a/20170719/040199.htm BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 “傻白甜”CEO是互联网创业界的土特产 http://tech.qq.com/a/20170719/035414.htm 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 http://tech.qq.com/a/20170719/037409.htm iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 http://tech.qq.com/a/20170719/039640.htm 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

删除“url”列

news_df_final=news_df_merge.drop('url',axis=1)
news_df_final
title content
0 董明珠:我可以不要互联网 但它离不开我 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20 “徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期
21 花点时间获B轮融资 未来布局国际化 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 “傻白甜”CEO是互联网创业界的土特产 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

发现处于行序号为20的新闻文本数据是空的,我检查了网页的源码,发现只有这条新闻的html的tag与众不同。决定删除这条新闻数据。
具体的做法是检查dataframe的content是否为空字符串,如果是,则删除该项。

length=len(news_df_final)
for index in range(length):
    if news_df_final['content'][index]=='':
        news_data=news_df_final.drop(index)
news_data
title content
0 董明珠:我可以不要互联网 但它离不开我 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
21 花点时间获B轮融资 未来布局国际化 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 “傻白甜”CEO是互联网创业界的土特产 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

重新建立索引

news_data = news_data.reset_index(drop=True) 
news_data
title content
0 董明珠:我可以不要互联网 但它离不开我 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20 花点时间获B轮融资 未来布局国际化 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
21 工信部已提交申报 虚拟运营商正式商用牌照即将发放 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
22 亚马逊会员日大获成功 但跟“双十一”比就差远了 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
23 “傻白甜”CEO是互联网创业界的土特产 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
24 谷歌助手尴尬了!登陆iOS两个月后热度全消 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
25 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…
查看评论

Android项目实战——新闻客户端

-
  • 1970年01月01日 08:00

腾讯新闻评论数据爬取

FROM:http://blog.csdn.net/androidlushangderen/article/details/45798757 前言 鉴于最近在做观点挖掘的相关工...
  • han____shuai
  • han____shuai
  • 2016-02-04 16:48:18
  • 2922

仿腾讯新闻网动态获取数据

/**   * wechat php test   */ //define your token define("TOKEN", "chuliabc"); $wechatObj = ...
  • qq_34827102
  • qq_34827102
  • 2017-04-27 22:34:31
  • 180

网络信息处理今后发展方向

 研究新一代精确搜索引擎,网络安全技术,问答式信息检索,海量信息的自动分类,网络挖掘,网络信息压缩等等。随着以计算机技术、通信技术和网络技术为代表的现代信息技术的发展,Internet以互联性、开放性...
  • menguio
  • menguio
  • 2009-05-02 15:05:00
  • 1585

【Python】爬虫爬取各大网站新闻(一)

作者博客地址:http://andyheart.mePython爬虫一步一步爬取文章背景最近在学习机器学习算法,分为回归,分类,聚类等,在学习过程中苦于没有数据做练习,就想爬取一下国内各大网站的新闻,...
  • jie310300215
  • jie310300215
  • 2016-03-27 10:06:07
  • 24767

模拟HTTP请求实现网页自动操作及数据采集

网页可分为信息提供和业务操作类,信息提供如新闻、股票行情之类的网站。业务操作如网上营业厅、OA之类的。当然,也有很多网站同时具有这两种性质,像微博、豆瓣、淘宝这类网站,既提供信息,也实现某些业务。普通...
  • taonull
  • taonull
  • 2015-08-15 18:05:03
  • 14475

Python - 通过requests实现腾讯新闻抓取爬虫

最近也是学习了一些爬虫方面的知识。以我自己的理解,通常我们用浏览器查看网页时,是通过浏览器向服务器发送请求,然后服务器响应以后返回一些代码数据,再经过浏览器解析后呈现出来。而爬虫则是通过程序向服务器发...
  • guangmingsky
  • guangmingsky
  • 2017-06-02 15:01:34
  • 3489

python爬虫之爬取腾讯新闻

本文目的抓取腾讯新闻首页中要闻页签下的所有新闻标题和链接。 如图: 地址:http://news.qq.com/top_index.shtml 要闻页签中一般会有几个分页: 所以要爬取要闻下的所...
  • nice_xp
  • nice_xp
  • 2017-06-11 16:00:34
  • 2497

Scrapy网络爬虫框架实战[以腾讯新闻网为例]

目录引言 待爬的url 框架架构 items的编写 Spider的编写 存储pipelines的编写 相关配置settings的编写 main方法的编写 运行结果展示引言关于Scrapy的相关介绍及豆...
  • qy20115549
  • qy20115549
  • 2016-09-27 10:42:22
  • 5311

python 爬取网易新闻评论

前段时间在看处理数据相关的书籍,需要爬取一些网上评论的文本数据集,所以想到爬取网易新闻底下的评论。本来想着Python+beautifulsoup(解析)+requests(抓取),最后存储在txt文...
  • kervin2012
  • kervin2012
  • 2017-07-18 16:33:02
  • 1486
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 15万+
    积分: 2234
    排名: 2万+
    About Me
    博客专栏
    最新评论