NLP自然语言处理记录
lzw2016
年轻出来浪!
展开
-
NLP中文短文本处理记录(一)
数据清洗 更新 NLP短文本处理 (第一天参考文章)[https://blog.csdn.net/eastmount/article/details/50473675] 总结以上两个Tip如何删除停用词 NLP之文本清洗 NLP一些常用词 待读文章 第二天学习 封装中文分词 数据清洗 写代码前要想好数据该用什么格式输出,最好在纸上画出来,然后想如何能实...原创 2018-03-31 16:14:53 · 3792 阅读 · 0 评论 -
使用Pandas分块处理大文件
使用Pandas分块处理大文件 问题:今天在处理快手的用户数据时,遇到了一个差不多600M的txt文本,用sublime打开都蹦了,我用pandas.read_table()去读,差不多花了近2分钟,最后打开发现差不多3千万行数据。这仅仅是打开,如果要处理不知得多费劲。 解决:我翻了一下文档,这一类读取文件的函数有两个参数:chunksize、iterator 原理就是不一次性把文件数据读入...原创 2018-05-27 19:36:50 · 15907 阅读 · 0 评论 -
Python数据分析学习文章归纳
本文搜集我学习实战过程中看到的好文,和自己学习总结的一些文章,持续更新 数据分析如何入门学习How do I learn data analysis with Python? 虽然是英文的,不过看一遍很大收获(可以用百度翻译看一下) Numpy使用 快速入门Numpy Stack Overflow Numpy问题汇集 书籍推荐NumPy Cookbook -第二版 by Ivan I...原创 2018-05-27 20:36:02 · 1896 阅读 · 0 评论