- 博客(10)
- 收藏
- 关注
RSS订阅原创 情感分析：数据预处理
# -*- coding:utf-8 -*-#进行数据清洗和结巴分词，并去除停用词import jiebaimport pandas as pdimport reimport codecs#加载数据，返回清洗后数据def loaddata(datapath): data = pd.read_table(datapath, header=None, index_col=Non...
2020-04-17 21:35:20
2425
转载 python3递归获取路径下所有文件
转载自：https://blog.csdn.net/sinat_29957455/article/details/82778306#coding=utf-8import reimport osdef get_file_path(root_path, file_list, dir_list): # 获取该目录下所有的文件名称和目录名称 dir_or_files = os.l...
2020-04-17 21:30:39
681
原创 Anaconda及TensorFlow安装
Anaconda官网：https://www.anaconda.com/清华映像站：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/如果官网下载慢可以去清华映像站下载选择适合自己平台的版本安装即可（安装时记得勾选添加环境变量）安装完成后可以在windows应用菜单看到如下应用：红框标出的是后来新建的虚拟环境，接下来会说。...
2020-03-14 09:59:13
144
原创 python爬虫框架scrapy批量爬取京东评论信息并保存在本地
项目环境：pycharmwindowspython3.7新建项目在想要创建的目录下打开命令行创建命令：scrapy startproject 项目名接着创建一个spider：cd 项目名scrapy genspider 爬虫名 "域名"在项目下新建一个python文件，运行此文件即可运行爬虫项目，不需要再去命令行了from scrapy import cmdlinec...
2020-03-14 09:57:39
2196
6
原创 python批量爬取京东手机评论信息及星级
本科生在读，如有问题欢迎指正爬取京东评论信息：评论信息是动态加载的，所以在商品详情页不能直接爬取评论。下面以一款手机为例，详细介绍python批量爬取京东评论。首先进入手机详情页url: https://item.jd.com/100008348542.html找到评论区域按F12进入浏览器的调试窗户（我用的是谷歌浏览器）点击network，选择all，接下来点击评论第二页，选...
2020-03-14 09:53:53
1882
原创 python操作Excell
用到的模块xlrd：读取excell表中的数据xlwt：创建一个excell文件，然后对此文件进行写入操作以及保存#####下面代码有详细的注释向excell内写入数据import xlwtfile = xlwt.Workbook(encoding = 'utf-8') #创建Workbook，设置字符编码为utf-8，默认是asciisheet = file.add_sheet...
2020-02-27 20:04:47
375
原创 java爬虫：webmagica
webmagicwebmagic使用文档：http://webmagic.io/docs/zh/介绍WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重页面元素的抽取是爬...
2018-09-17 08:28:02
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人