关闭

数据采集(二):腾讯新闻网,新闻标题和内容爬取

标签: 数据挖掘新闻爬虫
1368人阅读 评论(0) 收藏 举报
分类:
比如我对“科技”版块感兴趣,科技版块的链接是“http://tech.qq.com/” 。 首先使用requests请求网页内容。status_code为200表示请求成功。headers是将请求伪装成浏览器行为。timeout设置不能太小,考虑到人的访问手速。
import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
}
url="http://tech.qq.com/"
result=requests.get(url,headers=headers,timeout=2)
print result.status_code
200 使用BeautifulSoup库从网页内容中解析出标题和内容
from bs4 import BeautifulSoup

content=result.content
soup=BeautifulSoup(content,fromEncoding=result.encoding)
解析标题,和标题上的超链接
import re

def has_no_string(tag):
    return tag.name=='a' and tag.string!=None

samples=soup.find('div','list first').find_all(has_no_string,target='_blank',href=re.compile('tech\.qq\.com'))

news_titles = []
news_urls = []

for sample in samples:
    title=sample.text.strip()
    url=sample['href']

    news_titles.append(title)
    news_urls.append(url)

news_dic={'title':news_titles,'url':news_urls}
引入pandas库,将新闻标题和超链接数据导入到dataframe,便于观察和分析处理
import pandas as pd

news_df=pd.DataFrame(news_dic)
news_df
title url
0 董明珠:我可以不要互联网 但它离不开我 http://tech.qq.com/a/20170719/046210.htm
1 可卸载新规实施半月 手机预装软件仍难卸载 http://tech.qq.com/a/20170719/045379.htm
2 中兴通讯上半年营收为540亿元 同比增长13% http://tech.qq.com/a/20170719/045625.htm
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 http://tech.qq.com/a/20170719/045552.htm
4 一加手机在美摊上事了!拨911会重启 http://tech.qq.com/a/20170719/036951.htm
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 http://tech.qq.com/a/20170719/037848.htm
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 http://tech.qq.com/a/20170719/003212.htm
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 http://tech.qq.com/a/20170719/045356.htm
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 http://tech.qq.com/a/20170719/045876.htm
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 http://tech.qq.com/a/20170719/020157.htm
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 http://tech.qq.com/a/20170719/043987.htm
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 http://tech.qq.com/a/20170719/043620.htm
12 谷歌推出自家新闻推送服务Google Feed http://tech.qq.com/a/20170719/046100.htm
13 IBM连续21季度营收下滑为何仍能实现盈利? http://tech.qq.com/a/20170719/043225.htm
14 海信侧面回应夏普:从不惹事,但绝不怕事! http://tech.qq.com/a/20170719/041247.htm
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 http://tech.qq.com/a/20170719/042869.htm
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” http://tech.qq.com/a/20170719/036864.htm
17 Snap开始在亚马逊上开卖智能眼镜Spectacles http://tech.qq.com/a/20170719/042047.htm
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 http://tech.qq.com/a/20170719/041604.htm
19 IC Insights:今年全球存储芯片销售将创历史新高 http://tech.qq.com/a/20170719/042434.htm
20 “徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期 http://tech.qq.com/a/20170719/025913.htm
21 花点时间获B轮融资 未来布局国际化 http://tech.qq.com/a/20170719/041038.htm
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 http://tech.qq.com/a/20170719/035626.htm
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 http://tech.qq.com/a/20170719/040199.htm
24 “傻白甜”CEO是互联网创业界的土特产 http://tech.qq.com/a/20170719/035414.htm
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 http://tech.qq.com/a/20170719/037409.htm
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 http://tech.qq.com/a/20170719/039640.htm

对上面步骤得到的每个url,再次发起请求,得到的网页包含新闻内容,使用BeautifulSoup从中解析出新闻内容文本

news_texts = []

for url in news_urls:
    result1=requests.get(url,headers=headers,timeout=2)
    content1=result1.content
    soup1=BeautifulSoup(content1,fromEncoding=result1.encoding)
    main_article=soup1.find('div',class_="Cnt-Main-Article-QQ")
    text_tag_list=main_article.find_all('p',class_='text')

    news_text=''
    for text_tag in text_tag_list:
        string=text_tag.string
        if string!=None and string!='DUMMY_TAG':
            news_text+=(string+'\n')
    news_texts.append(news_text)
text_dic={'content':news_texts}
同样将新闻内容存入dataframe
text_df=pd.DataFrame(text_dic)
text_df
content
0 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20
21 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

将两个dataframe合并

news_df_merge=pd.merge(news_df,text_df,right_index=True, left_index=True)
news_df_merge
title url content
0 董明珠:我可以不要互联网 但它离不开我 http://tech.qq.com/a/20170719/046210.htm 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 http://tech.qq.com/a/20170719/045379.htm 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% http://tech.qq.com/a/20170719/045625.htm 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 http://tech.qq.com/a/20170719/045552.htm Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 http://tech.qq.com/a/20170719/036951.htm Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 http://tech.qq.com/a/20170719/037848.htm 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 http://tech.qq.com/a/20170719/003212.htm 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 http://tech.qq.com/a/20170719/045356.htm SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 http://tech.qq.com/a/20170719/045876.htm The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 http://tech.qq.com/a/20170719/020157.htm 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 http://tech.qq.com/a/20170719/043987.htm BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 http://tech.qq.com/a/20170719/043620.htm O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed http://tech.qq.com/a/20170719/046100.htm BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? http://tech.qq.com/a/20170719/043225.htm 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! http://tech.qq.com/a/20170719/041247.htm 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 http://tech.qq.com/a/20170719/042869.htm 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” http://tech.qq.com/a/20170719/036864.htm 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles http://tech.qq.com/a/20170719/042047.htm Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 http://tech.qq.com/a/20170719/041604.htm Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 http://tech.qq.com/a/20170719/042434.htm 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20 “徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期 http://tech.qq.com/a/20170719/025913.htm
21 花点时间获B轮融资 未来布局国际化 http://tech.qq.com/a/20170719/041038.htm 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 http://tech.qq.com/a/20170719/035626.htm 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 http://tech.qq.com/a/20170719/040199.htm BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 “傻白甜”CEO是互联网创业界的土特产 http://tech.qq.com/a/20170719/035414.htm 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 http://tech.qq.com/a/20170719/037409.htm iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 http://tech.qq.com/a/20170719/039640.htm 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

删除“url”列

news_df_final=news_df_merge.drop('url',axis=1)
news_df_final
title content
0 董明珠:我可以不要互联网 但它离不开我 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20 “徐玉玉被电信诈骗案”一审宣判 主犯陈文辉被判无期
21 花点时间获B轮融资 未来布局国际化 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 “傻白甜”CEO是互联网创业界的土特产 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

发现处于行序号为20的新闻文本数据是空的,我检查了网页的源码,发现只有这条新闻的html的tag与众不同。决定删除这条新闻数据。
具体的做法是检查dataframe的content是否为空字符串,如果是,则删除该项。

length=len(news_df_final)
for index in range(length):
    if news_df_final['content'][index]=='':
        news_data=news_df_final.drop(index)
news_data
title content
0 董明珠:我可以不要互联网 但它离不开我 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
21 花点时间获B轮融资 未来布局国际化 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
22 工信部已提交申报 虚拟运营商正式商用牌照即将发放 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
23 亚马逊会员日大获成功 但跟“双十一”比就差远了 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
24 “傻白甜”CEO是互联网创业界的土特产 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
25 谷歌助手尴尬了!登陆iOS两个月后热度全消 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
26 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…

重新建立索引

news_data = news_data.reset_index(drop=True) 
news_data
title content
0 董明珠:我可以不要互联网 但它离不开我 新华社“新华视点”记者蔡国兆、周科\n如何防止经济“脱实向虚”?如何打造更为优化的营商环境?…
1 可卸载新规实施半月 手机预装软件仍难卸载 本报讯 (记者孙喜保)自7月1日起,工信部颁布的《移动智能终端应用软件预置和分发管理暂行规…
2 中兴通讯上半年营收为540亿元 同比增长13% 腾讯科技讯 7月19日,中兴通讯上半年业绩快报显示,今年上半年中兴通讯营收为540.1亿元,…
3 NASA研究证实无人机噪声更烦人 送货商得想办法解决 Recode中文站 7月19日报道\n研究人员对不同飞行速度和高度的商用无人机产生的噪音进行…
4 一加手机在美摊上事了!拨911会重启 Mashable中文站 7月19日报道\n一加手机推出的最新款一加5备受好评,但是它现在似乎…
5 乐视大厦楼底“搭帐篷”,供应商讨债陷入持久战 两天前乐视股东大会,贾跃亭没回来。\n供应商在门口咚咚敲门,喊着还钱,乐视控股方面赵磊跑去跟…
6 瑞银预计iPhone 8起售900美元 苹果明年收益将超预期 瑞银集团分析师史蒂芬-米卢诺维奇(Steven Milunovich)在研报中指出,华尔街当…
7 SolarCity创始人彼得将离开特斯拉 马斯克俩表兄都走了 SolarCity的共同创始人彼得-里夫(左)\n腾讯科技讯 7月19日,SolarCity…
8 终于学会英语了 三星语音助手Bixby正式登陆美国市场 The Verge中文站 7月19日报道\n经历了多次跳票的三星Bixby语音助手终于准备好…
9 小米手环做到全球第一 黄汪却说华米刚刚小学毕业 文/腾讯科技 王潘\n不过,四年前华米准备做手环时,华米科技CEO黄汪完全没有想到能够挑战苹…
10 这家广告技术公司曾估值20亿美元 如今1.25亿贱卖 BI中文站 7月19日报道\n本周二,广告技术公司Rocket Fuel突然被竞争对手Siz…
11 河狸家营利悖论:抽成过高致服务受损手艺人离开 O2O模式曾掀起资本狂潮,但在经历洗牌期之后,“存活”的平台将如何找到盈利方式成为关键。北京…
12 谷歌推出自家新闻推送服务Google Feed BI中文站 7月19日报道\n本周三,这家搜索巨头朝着实现这一愿景的方向迈出了一大步。它推出…
13 IBM连续21季度营收下滑为何仍能实现盈利? 腾讯科技讯 7月19日,IBM今天发布了该公司截至6月30日的2017财年第二季度财报。财报…
14 海信侧面回应夏普:从不惹事,但绝不怕事! 环球科技综合报道 7月17日,台湾富士康旗下的夏普官网发布消息称:已以海信在美销售智能电视专…
15 Facebook十月开测付费新闻服务 阅读10篇之内免费 内容付费的时代正在到来\n本周二,Facebook新闻合作部门负责人坎贝尔-布朗在纽约数字发…
16 乐视金融被曝逾期不还钱,客服称是“第三方通道的问题” 中新经纬客户端7月19日电(罗琨)乐视金融也摊上事了!\n家住北京的张女士爆料称,其在乐视金…
17 Snap开始在亚马逊上开卖智能眼镜Spectacles Mashable中文站 7月19日报道\n此前,你只能在有限的几个地方购买到Spectacl…
18 美军用激光对付无人机 躲无可躲 击落一架成本仅1美元 Mashable中文站 7月19日报道\n我们都知道美国海军拥有一系列极具科技含量的武器,而…
19 IC Insights:今年全球存储芯片销售将创历史新高 腾讯科技讯 据外电报道,市场调研公司IC Insights周三预计,全球DRAM内存芯片和N…
20 花点时间获B轮融资 未来布局国际化 腾讯科技讯(孙宏超)7月19日消息,今天下午鲜花电商花点时间完成B轮融资,由东方富海、经纬创…
21 工信部已提交申报 虚拟运营商正式商用牌照即将发放 中国证券网讯 在今天召开的“2017MVNO/VAS国际虚拟运营大会暨中国增值电信业务高峰论…
22 亚马逊会员日大获成功 但跟“双十一”比就差远了 BI中文站 7月19日报道\n当天最畅销的商品是亚马逊的Echo Dot,这是一款入门级智能…
23 “傻白甜”CEO是互联网创业界的土特产 2011年,我打算离开广告圈,正在四处找工作。\n后来我跟一个年轻人建立了联系,他刚刚从哥伦…
24 谷歌助手尴尬了!登陆iOS两个月后热度全消 iOS版Google Assistant\nBI中文站 7月19日报道\n今年5月份,Goo…
25 沃尔玛启用全新物流交付中心 欲进一步助力电商业务 【腾讯科技编者按】 据国外媒体报道称,沃尔玛在当地时间周二表示,公司已在佛罗里达达文波特市正…
1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

腾讯新闻语料库

  • 2012-11-20 14:07
  • 23.66MB
  • 下载

用word2vec 测试腾讯新闻语料 (一)

有的效果还可以,有的不行,可能是数据太少了的原因。   效果比较好的词: 1. Enter word or sentence (EXIT to break): 足球 Word: 足球  Posit...
  • kevinew
  • kevinew
  • 2013-09-04 16:02
  • 11206

python爬虫之爬取腾讯新闻

本文目的抓取腾讯新闻首页中要闻页签下的所有新闻标题和链接。 如图: 地址:http://news.qq.com/top_index.shtml 要闻页签中一般会有几个分页: 所以要爬取要闻下的所...
  • nice_xp
  • nice_xp
  • 2017-06-11 16:00
  • 1385

腾讯新闻评论数据爬取

FROM:http://blog.csdn.net/androidlushangderen/article/details/45798757 前言 鉴于最近在做观点挖掘的相关工...
  • han____shuai
  • han____shuai
  • 2016-02-04 16:48
  • 2649

腾讯新闻评论数据爬取

前言 鉴于最近在做观点挖掘的相关工作,观点的数据源是网络评论数据,于是第一个想到的就是新闻观点数据,一个热门的新闻可能一晚上就会有上万条评论,所以如何分析并利用好这些评论信息,将会是一件非常有意思的事...
  • Androidlushangderen
  • Androidlushangderen
  • 2015-05-17 22:28
  • 3156

python 爬虫爬取腾讯新闻科技类的企鹅智酷系列(1)

废话不多说,直接贴代码,主要采用BeautifulSoup写的 # -*- coding: utf-8 -*- """ Created on Mon May 18 19:12:06 2015 @...
  • Gamer_gyt
  • Gamer_gyt
  • 2015-05-19 00:19
  • 2464

java Jsoup实现新闻网页的爬取,标题,正文,图片,新闻时间,网页链接的解析示例

一下代码为一个Jsoup爬取新闻网页的简单示例,可直接运行。 import java.io.File; import java.io.FileOutputStream; import java.i...
  • yxmaomao1991
  • yxmaomao1991
  • 2016-01-20 20:58
  • 3147

网络爬虫框架scrapy介绍及应用——抓取新浪新闻的标题内容评论

网络爬虫框架scrapy介绍及应用——抓取新浪新闻的标题内容评论
  • gugugujiawei
  • gugugujiawei
  • 2015-01-21 15:12
  • 6955

正则表达式的简单应用:使用正则表达式采集腾讯新闻

正则表达式的简单应用:使用正则表达式采集腾讯新闻 正则表达式(Regular Expression)是比较繁琐的,要记的东西比较多,因此我一直都没有腾出时间专门好好研究一下正则表达式,最近网站需要用到...
  • ACMore_Xiong
  • ACMore_Xiong
  • 2016-03-31 20:14
  • 3321

爬取新浪、网易、今日头条、UC四大网站新闻标题及内容

首先说明一下,文件的命名不能含有:?|"* 新浪: 新浪网的新闻比较好爬取,我是用BeautifulSoup直接解析的,它并没有使用JS异步加载,直接爬取就行了。 from bs4 import Be...
  • sinat_22659021
  • sinat_22659021
  • 2017-10-24 11:28
  • 637
    个人资料
    • 访问:112151次
    • 积分:1841
    • 等级:
    • 排名:千里之外
    • 原创:73篇
    • 转载:0篇
    • 译文:2篇
    • 评论:84条
    About Me
    博客专栏
    最新评论