春华秋实

要过年了，按照过去，这个时候正在紧张的抢火车票，家里父母忙碌操办年货，归心似箭回家过年的时候，而今年却不一样了。女儿出生之后，我妈过来帮我带孩子，考虑到回家隔离和明年上班的诸多不便，今年就按照中央鼓励的精神，在原地踏实过年。虽然已经接受了不回家过年的事实，但是在家里，母亲和媳妇总是会流漏出一些想回家的感慨，而我不为所动。我妈想回老家，媳妇想回娘家，只有我依然觉得，第一次不用赶春运东奔西跑，也是第一次和这个城市觉得有点亲近，留在原地过年真好！ ...

人工智能或许是人类最美好的梦想之一。追溯到公元前仰望星空的古希腊人，当亚里士多德为了解释人类大脑的运行规律而提出了联想主义心理学的时候，他恐怕不会想到，两千多年后的今天，人们正在利用联想主义心理学衍化而来的人工神经网络，构建的超级人工智能成为最能接近梦想的圣境，并一次又一次地挑战人类大脑认知的极限。在以大数据、云计算为背景的技术框架支撑下，互联网发展极为迅速，过去一个技术或者行业热点从诞生到消亡...

2016年全球瞩目的围棋大战中，人类以失败告终，更是激起了各种“机器超越、控制人类”的讨论，然而机器真的懂人类吗？机器能感受到人类的情绪吗？机器能理解人类的语言吗？如果能，那它又是如何做到呢？带着这样好奇心，本文将带领大家熟悉和回顾一个完整的自然语言处理过程，后续所有章节所有示例开发都将遵从这个处理过程。首先我们通过一张图（来源：网络）来了解 NLP 所包含的技术知识点，这张图从分析对象和分析内...

前言从本文开始，我们就要真正进入实战部分。首先，我们按照中文自然语言处理流程的第一步获取语料，然后重点进行中文分词的学习。中文分词有很多种，常见的比如有中科院计算所 NLPIR、哈工大 LTP、清华大学 THULAC 、斯坦福分词器、Hanlp 分词器、jieba 分词、IKAnalyzer 等。这里针对 jieba 和 HanLP 分别介绍不同场景下的中文分词应用。jieba 分词jieb...

前言关键词提取就是从文本里面把跟这篇文章意义最相关的一些词语抽取出来。这个可以追溯到文献检索初期，关键词是为了文献标引工作，从报告、论文中选取出来用以表示全文主题内容信息的单词或术语，在现在的报告和论文中，我们依然可以看到关键词这一项。因此，关键词在文献检索、自动文摘、文本聚类/分类等方面有着重要的应用，它不仅是进行这些工作不可或缺的基础和前提，也是互联网上信息建库的一项重要工作。关键词抽取从...

为什么要文本数据可视化文字是传递信息最常用的载体，随着海量文本的涌现，信息超载和数据过剩等问题日益凸显，当大段大段的文字摆在面前，已经很少有人耐心、认真把它读完，人们急需一种更高效的信息接收方式，从视觉的角度出发，文本可视化正是解药良方。所谓一图胜千言，其实就是文本可视化的一种表现。因此，文本可视化技术将文本中复杂的或者难以通过文字表达的内容和规律以视觉符号的形式表达出来，使人们能够利用与生...

通过前面几个小节的学习，我们现在已经学会了如何获取文本预料，然后分词，在分词之后的结果上，我们可以提取文本的关键词查看文本核心思想，进而可以通过可视化技术把文档从视觉的角度表达出来。下面，我们来看看，文本数据如何转换成计算机能够计算的数据。这里介绍两种常用的模型：词袋和词向量模型。词袋模型（Bag of Words Model）词袋模型的概念先来看张图，从视觉上感受一下词袋模型的样子。...

文本分类，属于有监督学习中的一部分，在很多场景下都有应用，下面通过小数据的实例，一步步完成中文短文本的分类实现，整个过程尽量做到少理论重实战。开发环境，我们选择：Windows 系统Python 3.6Jupyter Notebook本文使用的数据是我曾经做过的一份司法数据，需求是对每一条输入数据，判断事情的主体是谁，比如报警人被老公打，报警人被老婆打，报警人被儿子打，报警人被女儿...

关于文本聚类，我曾在 Chat《NLP 中文文本聚类之无监督学习》中介绍过，文本聚类是将一个个文档由原有的自然语言文字信息转化成数学信息，以高维空间点的形式展现出来，通过计算哪些点距离比较近，从而将那些点聚成一个簇，簇的中心叫做簇心。一个好的聚类要保证簇内点的距离尽量的近，但簇与簇之间的点要尽量的远。如下图，以 K、M、N 三个点分别为聚类的簇心，将结果聚为三类，使得簇内点的距离尽量的近，但簇与...

近几年在自然语言处理领域中，HMM（隐马尔可夫模型）和 CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。由于两者之间有很大的共同点，所以在很多应用上往往是重叠的，但在命名实体、句法分析等领域 CRF 似乎更胜一筹。通常来说如果做自然语言处理，这两个模型应该都要了解，下面我们来看看本文的内容。从贝叶斯定义理解生成式模型和判别式模型理解 HMM（隐马尔可夫模型）和 CR...

首先，我们来思考下，当人工神经网络从浅层发展到深层；从全连接到卷积神经网络。在此过程中，人类在图片分类、语音识别等方面都取得了非常好的结果，那么我们为什么还需要循环神经网络呢？因为，上面提到的这些网络结构的层与层之间是全连接或部分连接的，但在每层之间的节点是无连接的，这样的网络结构并不能很好的处理序列数据。序列数据的处理，我们从语言模型 N-gram 模型说起，然后着重谈谈 RNN，并通过 ...

本文从深度学习卷积神经网络入手，基于 Github 的开源项目来完成 MovieLens 数据集的电影推荐系统。什么是推荐系统呢？什么是推荐系统呢？首先我们来看看几个常见的推荐场景。如果你经常通过豆瓣电影评分来找电影，你会发现下图所示的推荐：如果你喜欢购物，根据你的选择和购物行为，平台会给你推荐相似商品：在互联网的很多场景下都可以看到推荐的影子。因为推荐可以帮助用户和商家满足不同的需...

目前循环神经网络（RNN）已经广泛用于自然语言处理中，可以处理大量的序列数据，可以说是最强大的神经网络模型之一。人们已经给 RNN 找到了越来越多的事情做，比如画画和写诗，微软的小冰都已经出版了一本诗集了。而其实训练一个能写诗的神经网络并不难，下面我们就介绍如何简单快捷地建立一个会写诗的网络模型。本次开发环境如下：Python 3.6Keras 环境Jupyter Notebook...

目前情感分析在中文自然语言处理中比较火热，很多场景下，我们都需要用到情感分析。比如，做金融产品量化交易，需要根据爬取的舆论数据来分析政策和舆论对股市或者基金期货的态度；电商交易，根据买家的评论数据，来分析商品的预售率等等。下面我们通过以下几点来介绍中文自然语言处理情感分析：中文情感分析方法简介；SnowNLP 快速进行评论数据情感分析；基于标注好的情感词典来计算情感值；pytreeba...

自动问答简介自动聊天机器人，也称为自动问答系统，由于所使用的场景不同，叫法也不一样。自动问答（Question Answering，QA）是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。近年来，随着人工智能的飞速发展，自动问答已经成为倍受关注且发展前景广...

命名实体识别（Named EntitiesRecognition，NER）是自然语言处理的一个基础任务。其目的是识别语料中人名、地名、组织机构名等命名实体，比如，2015年中国国家海洋局对124个国际海底地理实体的命名。由于命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的一些规律性，因而，通常把对这些词的识别从词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别。...

命名实体识别在越来越多的场景下被应用，如自动问答、知识图谱等。非结构化的文本内容有很多丰富的信息，但找到相关的知识始终是一个具有挑战性的任务，命名实体识别也不例外。前面我们用隐马尔可夫模型（HMM）自己尝试训练过一个分词器，其实 HMM 也可以用来训练命名实体识别器，但在本文，我们讲另外一个算法——条件随机场（CRF），来训练一个命名实体识别器。浅析条件随机场（CRF）条件随机场（Condi...

句法分析是自然语言处理（NLP）中的关键技术之一，其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。主要包括两方面的内容：一是确定语言的语法体系，即对语言中合法句子的语法结构给予形式化的定义；另一方面是句法分析技术，即根据给定的语法体系，自动推导出句子的句法结构，分析句子所包含的句法单位和这些句法单位之间的关系。句法分析被用在很多场景中，比如搜索引擎用户日志分析和关键词识别，比如信息抽...

句法分析是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。主要包括两方面的内容，一是确定语言的语法体系，即对语言中合法句子的语法结构给予形式化的定义；另一方面是句法分析技术，即根据给定的语法体系，自动推导出句子的句法结构，分析句子所包含的句法单位和这些句法单位之间的关系。依存关系本身是一个树结构，每一个词看成一个节点，依存关系就是一条有向边。本文主要通过...

在前面所有的模型训练和预测中，我们训练好的模型都是直接通过控制台或者 Jupyter Notebook 来进行预测和交互的，在一个系统或者项目中使用这种方式显然不可能，那在 Web 应用中如何使用我们训练好的模型呢？本文将通过以下四个方面对该问题进行讲解：微服务架构简介；模型的持久化与加载方式；Flask 和 Bottle 微服务框架；Tensorflow Serving 模型部署和服务...

搜索技术日新月异，如今它不再是搜索框中输入几个单词那么简单了。不仅输入方式多样化，并且还要在非常短的时间内给出一个精准而又全面的答案。目前，谷歌给出的解决方案就是——知识图谱（Knowledge Graph）。知识图谱能做什么？知识图谱想做的，就是在不同数据（来自现实世界）之间建立联系，从而带给我们更有意义的搜索结果。比如，在上图中，用 Google 搜索自然语言处理，右侧会显示研究领域和...

Neo4j 对于大多数人来说，可能是比较陌生的。其实，Neo4j 是一个图形数据库，就像传统的关系数据库中的 Oracel 和 MySQL一样，用来持久化数据。Neo4j 是最近几年发展起来的新技术，属于 NoSQL 数据库中的一种。本文主要从 Neo4j 为什么被用来做知识图谱，Neo4j 的简单安装，在 Neo4j 浏览器中创建节点和关系，Neo4j 的 Python 接口操作以及用 Neo...

自然语言理解和自然语言生成是自然语言处理的两大内核，机器翻译是自然语言理解方面最早的研究工作。自然语言处理的主要任务是：研究表示语言能力和语言应用的模型，建立和实现计算框架并提出相应的方法不断地完善模型，根据这样的语言模型设计有效地实现自然语言通信的计算机系统，并研讨关于系统的评测技术，最终实现用自然语言与计算机进行通信。目前，具有一定自然语言处理能力的典型应用包括计算机信息检索系统、多语种翻译系...

目前，随着大数据、云计算对关系型数据处理技术趋向稳定成熟，各大互联网公司对关系数据的整合也已经落地成熟，笔者预测未来数据领域的挑战将主要集中在半结构化和非结构化数据的整合，NLP 技术对个人发展越来越重要，尤其在中文文本上挑战更大。在本场 Chat 以及现在和未来工作中，笔者都将致力于中文文本的挖掘与开发，而且是通过实战来增加对中文 NLP 需求的应用理解。由于是第一讲，笔者在本次 Chat ...

本场 Chat 和《NLP 中文短文本分类项目实践（上）》可以看做姊妹篇，在上一篇的基础上，本篇主要讲一下文本分类在集成学习和深度学习方面的应用，由于内容比较多，笔者不可能面面俱到。下面我们先从集成学习说起。一、数据科学比赛大杀器 XGBoost 实战文本分类在说 XGBoost 之前，我们先简单从树模型说起，典型的决策树模型。决策树的学习过程主要包括：特征选择： 从训练数据的特征中选择一...

有一天你会明白，天下乌鸦一般黑，没有绝对的好与坏，不同时期，好与坏的程度也不一样，但是还是那句话，天下乌鸦一般黑，试图依靠跳槽和转行改变自己的，只会越跳越差，想不清楚自己的问题，解决不了实质性的问题，一切都是徒劳，甚至在走弯路。做技术，最重要的真的就是专注，聚焦到某一个点，一直深入下去，很可惜，现在的市场技术蓬勃发展，行业2-3年就换一个热点和赛道，很多技术人很难沉下心做好一件事，我自己就是一个例子，经历了很多，我现在才想明白，选好一个行业，一个赛道，重点突破某一技术领域，持续不断的深入下去。...

一般在运营或者BI报表里面，关于渠道用户分析时，用户留存是个不可缺少的过程，也是业界多渠道用户质量比较成熟的判断标准，主要指标，包括计算用户次日、3日、7日、30天、90天等的留存率，下面主要介绍sql的统计过程：留存率计算方法假如今天新增了100名用户，第二天登陆了50名，则次日留存率为50/100=50%，第三天登录了30名，则第二日留存率为30/100=30%,以此类推。步骤一：从数据库中提取user_id和login_time, 并计算 first_day, 用于存储每个用户ID最早登录

今天和大家聊聊在本次疫情之后，行业内催生的一种新的共享经济模式，也就是共享员工。乍一看，好像没什么，不就是A公司的员工通过借调或者外包的方式到B公司去上班，但是背后却凸显出了疫情危机之下行业用工、企业跨界合作的必要性和灵活性。背景受武汉疫情的影响，大多数行业都出现了停滞，尤其是餐饮、旅游、商场，损失非常惨重。而国内知名的西北菜系餐饮企业——西贝餐饮，在疫情期也被推到了风口浪尖。因为董事长贾...

我希望，每年我都能在自己的空间写上几篇文章，回味过去、思考当下和畅想未来。我不准备把这些文章发在其他的自媒体上，远离喧闹，不想过分和嘈杂的世界对话，写这篇文章的时候，是我心最安静的时候，我在和自己对话。外面疫情的消息就如同这病毒还在肆无忌惮的传播着，本来定的元宵节之后返京，现在看来不能如愿以偿了。待在家里，闲暇的时间格外多，持续关注疫情也会让人越发的恐慌和懒散。2019年对我来说是个成长的节点。...

从去年到今年，在裁员潮背景下，身边很多朋友都在抱怨被辞退。虽然在抱怨，但是他们的心情却不一样，有人拿到合法的补偿之后，发几声牢骚后便能迅速调整心情并投入到开始下一份工作的计划中，这当然是好事；但是也有人莫名其妙被公司套路辞退后拿不到补偿而闷闷不乐一阵子，虽然说作为高薪的程序员不在意那点补偿，但是如果真的是公司非法辞退的呢？你到底要不要守住底线，维护自己的权益呢？最近身边有一个真实案例，朋友因守住底...

git pull 强制覆盖本地的代码方式，下面是正确的方法：git fetch --all然后，你有两个选择：git reset --hard origin/master或者如果你在其他分支上：git reset --hard origin/<branch_name>说明：git fetch从远程下载最新的，而不尝试合并或rebase任何东西。然后...

学习vim时，没有比vimtutor更好的入门教材了，输入vimtutor命令后剩下的就是跟着说明操作，整个过程不需要死记硬背，它会非常应景地告诉你应该怎么使用vim，并且全程给出了模拟演练的环境。本节总结了vimtutor提到的所有vim操作方法。在linux或者mac命令行输入vimtutor之后，得到如下图：移动光标既可以用箭头键，也可以使用 hjkl 字母键，其中h 用于左移光...

1. 推荐一个在线流程图工具，还可以团队协同。https://www.processon.com

原文：https://www.jianshu.com/p/01e4b27bd293

前言：先说说自己的情况，从18年9月开始，整个工作环境和生产工具发生了很大的变化，之前工作大部分时间用的是Windows做开发和少数Linux，现在要全部使用mac和公私有云的Linux环境，这种情况下对自己的做事方式、技术要求、技术栈和使用工具都发生了变化。由于之前在Linux上面的积累很少，所以又要开启一段学习之路啦！今天，我重点要介绍的是Linux后台任务提交的几种常用方式推荐。为什...

告别2018，迎接2019，想想就很激动，而我恰好想的多了点，就越发的激动，一激动，我就觉得应该写点什么。以我现在的认知，似乎也写不出什么干货，但是还是要不断去寻找和总结，所以，我觉得动动指头，把自己的想法记录下。下面，我说说自己这几年关注的东西：1.互联网，其实90后出生时，就已经是一个互联网人，不过那是的互联网还在国外发展，中国的互联网主要从1998年到2018年，短短20年发生的很大的...

送人玫瑰，手留余香，如果本博客帮助到您了，帮忙点开本篇，为我投上一票，谢谢，2019年，我们相约，继续加油！而选择投票的您，也将有机会获得免费开跑车的机会。请选择第4位候选人：004  Soyoger   投票即可。投票地址：https://bss.csdn.net/m/topic/blog_star2018/index投票方式：最后，感谢您的投票。2019，砥砺前行，...

jq 简介JSON 是一种轻量级的数据交换格式。其采用完全独立于语言的文本格式，具有方便人阅读和编写，同时也易于机器的解析和生成。这些特性决定了 JSON 格式越来越广泛的应用于现代的各种系统中。作为系统管理员，在日常的工作中无论是编辑配置文件或者通过 http 请求查询信息，我们都不可避免的要处理 JSON 格式的数据。jq 是一款命令行下处理 JSON 数据的工具。其可以接受标准输入，...

kafka介绍：https://blog.csdn.net/see_you_see_me/article/details/784681081、安装工具brew install kafka 会自动安装依赖zookeeper2、安装配置文件位置 /usr/local/etc/kafka|zookeeper3、启动 zookeepercd /usr/local/Cellar/kafka/...

kafka介绍：https://blog.csdn.net/see_you_see_me/article/details/784681081、安装工具brew install kafka 会自动安装依赖zookeeper2、安装配置文件位置 /usr/local/etc/kafka|zookeeper3、启动 zookeepercd /usr/local/Cellar/kafka/...

Hive 中的复合数据结构简介以及一些函数的用法说明hive lateral view 与 explode详解

python中的单元测试，主要有3种方式：1.unittest2.nose(nose2)3.pytest关于unittest的使用，非常简单，继承TeseCase：https://docs.python.org/2/library/unittest.html#unittest.TestCase.setUpsetUp()Method called to prepare t...

做为一个3年的程序员，用Java到Python，从Web开发到大数据开发、数据挖掘、NLP的技术都在学习，但是零碎的知识点，无法构建起一个知识体系，这是为什么呢？首先，现在公司的岗位配置非常细化，每个人就负责那么一小部分，做好自己的就好，其他的不要求，更不会强求，所以大多数时候要看自己。从自身职业发展来看，各种知识之间其实是相互关联和相互促进的，学更多的框架，不如学好基础知识，基础知识构建...

在命令行界面下，我们来看看hive sql的几种执行方式：root@hadoop-senior hive-0.13.1]$ bin/hive -helpusage: hive-d,　--define <key=value> 　　 　　　　 Variable subsitution to apply to hive　　　　　　　　　　　　　　　　　　  commands. e....

史上最强的融资方案商业计划书资本时代：领先一步等于领先一路，领先一年等于领先一个时代！这个问题需要从企业发展过程中的融资谈起，企业要获得发展就一定要有大量资金的支持才行。一般来讲，企业获取资金支持的主要方式：我们来逐个分析各个投资情况先看股东，股东是希望开企业赚钱的，是想从企业获利的，因此他们持续向企业注资是不现实的。银行呢?银行是需要管控风险的，他们对贷款的要求是很严格的，任何...

关于系统日志收集处理方案，其实有很多种，因为之前使用ES比较多，所以也认为ELK是一个不错的解决方案，ELK(Elasticsearch + Logstash + Kibana)来管理日志。Logstash是一个具有实时渠道能力的数据收集引擎,但和fluentd相比，它在效能上表现略逊一筹，故而逐渐被fluentd取代，ELK也随之变成EFK。EFK由ElasticSearch、Fluentd...

持续集成是一种软件开发实践，即团队开发成员经常集成它们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误。关于持续集成，很不错的文章：1.https://www.cnblogs.com/newP/p/5735366.html2.http://www.cnblogs.com/xis...

从Java一路走来，习惯了使用IDEA来调试代码，平时写python也都是使用Jupyter notebook，但是现在逐渐转行到Python开发，突然在linux下进行python代码调试，就会显得有点不习惯了。下面先从python调试工具PDB开始。介绍在开发简单程序的时候，可以通过加入print或是log的方式进行程序的调试，但是对于复杂的程序这种方式往往比较困难，这时就需要引入...

博主用的是python来读写hbase需要安装 pip install thrift 和 pip install hbase-thrifthbase客户端创建：from thrift import Thriftfrom thrift.transport import TSocket, TTransportfrom thrift.protocol import TBinaryPro...

各个企业品牌创始人记录：企业品牌创始人表 企业\品牌 创始人 外婆家 吴国平 迪安诊断 陈海斌 NPC潮流文化 李晨 银泰 沈国军 万通控股 冯仑          ...

Python打包分发工具setuptools通过这个工具，可以打包安装插件，并且还可以发布到PyPI上面，具体参考：1.http://python.jobbole.com/87240/2.http://python.jobbole.com/86443/?utm_source=blog.jobbole.com&utm_medium=relatedPosts发布自己的pytho...

程序员的自我进化：技术的广度与深度怎么权衡工作2-3年了，如果你已经走在自己喜欢和感兴趣的技术路上，那么首先恭喜你了；如果你还在技术圈迷茫和困惑，也请保持微笑。无论你属于那种情况，对于绝大多数人来说，不妨停下脚步来看看，我们应该如何看待技术。我们都希望自己的技术既有广度又有深度，但事实上，鱼与熊掌不可兼得，在有限的时间和精力里，我们不可能掌握所有的技术，而且技术的更新速度很快。因此，我们需要有...

常用的python命令行解析库，这儿介绍3种：1.argparse2.click3.fire argparse是python自带的模块，要经历解析器初始化、参数定义、解析一套流程，使用起来有些繁琐。一篇argparse使用的文章：https://www.cnblogs.com/yymn/p/8056487.html Click 是flask作者用 Python 写的...

近一年来，有一个直观的感觉，数据领域围绕大数据进行计算分析和人工智能算法进行挖掘和建模应用，而在程序架构上，好多企业在往微服务方向走，微服务越来火，比如Spring-boot、Spring-cloud等，而在服务部署上，传统都是采用tomcat、weblogic这种单体部署方式，常常一个应用很大，还需要打成war包，项目后期操作和管理越发觉得不灵活。现如今，微服务+Docker容器开发部署方式越来...

数据倾斜在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将...

简单介绍下PCA的应用PCA和线性回归的区别：PCA的目的和优势：  

在这个信息时代，没有人的视野会受阻，人们最缺乏的并不是视野的广度，而是视野的深度。事实上，我觉得可以粗略的把人分为两类：追求低成本的快乐的人，追求深层次体验的人。如果只是想想，当然每个人都会说”我要过丰富的生活，有极致的体验“。但落实到你需要付出多少代价层面，其实大多数人的选择，是在“低成本”的前提下，过的还算开心就可以，甚至做不到，只要不太痛苦也能承受。只有少数人，会愿意为了深层次的人生...

最近一边看书，一边梳理机器学习的知识点：1. 线性回归2.线性回归的损失函数（误差的平方和）3. 最小二乘法(手推导)4.批量梯度下降法（学习率大小问题）5.放缩scaling对梯度下降的影响6.多元线性回归7.逻辑斯蒂回归-二元分类8.LR代价函数9.神经网络10.前向传播和后向传播11.神经网络过程12.模型选择和交叉验证13.高偏差和高...

python的pandas中，在统计聚合的时候，版本问题，提示不支持字典格式了。比如，下面代码这样改就可以了。 words_stat = words_df.groupby(by=['segment'])['segment'].agg({"计数": numpy.size}) 上面代码改成下面代码就可以了。应该是版本问题。 word_stat = word_df...

做nlp项目，除了各大电商评论和微博数据，弹幕分析对于舆论和该视频的推广都是有帮助的，下面主要说说这么从B站爬取弹幕。过程很简单，我们来看看：1. 首先，bilibili的弹幕是在xml文件里，每个视频都有其对应的cid和aid，我们取到cid中的数字放入http://comment.bilibili.com/+cid+.xml,即可得到该视频对应的cid。比如：打开这个链接http:...

今天写了个爬虫，在抓取数据的时候遇到一个问题，我觉得如果不注意，这个问题很容易被忽略，所以特意在博客记录下：问题描述：比如，我在提取信息时，这样判断类型：type(answers[0].find_all("table")[0].string) 得到的结果为：NoneType所以，我就想，条件过滤的时候用is not 或者 ！= 就可以过滤了，比如这样尝试的时候：...

今天看文章，看到这句话，真心觉得不错！！！周鸿祎曾说过：只有战术没有战略，往往成不了大气候。项羽赢了刘邦无数场，战术上的优势无可比拟，却在战略上一败涂地，最后输了一场便只能霸王别姬、乌江自刎，此为明证，亦是警钟。作为一个公司的创始人，如果你想成功，想要打造一家百亿美元的独角兽，实现改变世界的梦想，你到底应该做什么、怎么做？我一直有一个疑问，国内的创业公司最终都要站队AT系吗？（...

https://blog.csdn.net/zdk930519/article/details/54137476

不得不感叹，计算机技术更新迭代的速度太快了，作为程序员每天除了面对工作，就要学习新技术，笔者自己也不例外，近三年来，笔者自己的感觉是一直在为技术疲于奔命，直到现在，也不敢放缓脚步。学习对于程序员来说太重要了，就像每天必须吃饭一样，程序员每天必须抽出一定时间学习新技术，避免被淘汰。然而，目前的计算机编程语言和技术框架可谓百花齐放，百家争鸣。作为程序员如何去学习，以及如何更有效的学习呢?本篇将从以...

之前在微信朋友圈读到过这样一篇文章，施一公：“我国的最大危机，是所有精英都想干金融！”，当然，笔者是非常赞同的，因为和钱距离越近的地方，越能赚到更多的钱，所以从个人或者企业的角度出发，选择金融是正确的方向，就连程序员也不例外。暂且不说这个危机是什么原因造成的，或体制或为了生存。作为程序员既然选择了金融，那就先把手上的工作做好。很惭愧，笔者还没有选择金融，说明还不是精英吧！我们都知道，这几年在大数据...

说实话，也是从今年4月份开始，笔者接触了大量写SQL的工作，才开始慢慢理解SQL的优化。在之前，公司的大数据平台只有十几个节点，随着业务快速发展，每天都会产生上百万条的数据，所以每天使用Hive写SQL发现执行时间都在变慢，但是以结果为目的的工作，在不追求高效的情况下，没人有去深入思考如何改变这种状态，每次感觉慢的实在受不了才去申请加节点，因为Hive是构建在Hadoop分布式集群上的，是一种分布...

现如今，在更多情况下，我们通过传感器和字节来与机器获得交流，而不是依靠交换情感，那如何让超级智能机器能够和人类正常交流沟通呢？在人工智能背景技术下，自然语言处理（NLP）技术被越来越多的人看好，并受到重视。其中，以微软小冰为代表的聊天机器人，如今却成了网红，迅速刷爆了微信和朋友圈，一个17岁纯情少女懂礼貌、有素质和会作诗，众多网友对她可是情有独钟！下面这幅图是小冰的一个简介。那什么是 NLP？NL...

先来看看mysql中日期的加减：MySQL 为日期增加一个时间间隔：date_add()now()       //now函数为获取当前时间select date_add(now(), interval 1 day); - 加1天select date_add(now(), interval 1 hour); -加1小时select date_add(now(), interval 1 minut...

先说说，在mysql中，ifnull函数的用法，其表达式如下：IFNULL(expr1,expr2)如果 expr1 不是 NULL，IFNULL() 返回 expr1，否则它返回 expr2。IFNULL()返回一个数字或字符串值，取决于它被使用的上下文环境。举个应用场景，比如某一个字段定义为int类型，其默认值为0，但是在sql查询过程中，有可能出现为null,这个时候，我们就可以用ifnul...

由于博主目前在数据部门工作，接触最多的关系型数据库就是mysql，因为业务部门的数据一般都是存储在mysql，而最终数据需要在大数据平台上管理，所以中间过程少不了ETL，以及给数据分析BI人员提供数据，这样就会导致写很多的sql，关于sql，博主也是半路出家，野路子，所以难免会犯错误，下面整理几个细节，最近体会到的。1. UNION关键字MySQL UNION 操作符用于连接两个以上的 SELEC...

假设有一组数据集如下：data=data.frame(y=c(1,2,3,NA,5,6),x1=c(6,NA,4,3,2,1),x2=c(1,3,6,9,12,NA))“NA”即表示缺失值。在R中输入该数据。#判断缺失数据is.na(data)#统计缺失值个数sum(is.na(data))#查看每个样本数据是否完整，其值与is.na()相反complete.cases(data)这里介绍处理缺失...

介绍NLP 作为 AI 技术领域中重要的分支，随着其技术应用范围不断扩大，在数据处理领域占有越来越重要的地位。本达人课，作为中文自然语言处理边学边实战的入门级教程，以小数据量的“简易版”实例，通过实战带大家快速掌握 NLP 在中文方面开发的基本能力。本课程共包含 18 节。各小节之间并没有紧密耦合，但是整个内容还是遵循一定的开发流程。比如，按照中文语料处理的过程，在获取到语料之后开始分词，分词之后...

也许当微软的工程师们还在思考如何让聊天机器人快速进化的时候，万万没想到，刚刚上线一天，Tay就因在Twitter上言论不当而被强制下线。据说她不但辱骂用户，还发表了种族主义评论和煽动性的政治宣言，事后有网友调侃说是调教姿势有问题！而2014年5月29日，微软（亚洲）互联网工程院发布的“微软小冰”如今却成了网红，迅速刷爆了微信和朋友圈，官方形象定位为可爱贴心的17岁纯情少女，如今的小冰懂礼貌、有...

UPDATE tablename SET  FIELD = REPLACE(REPLACE(FIELD, CHAR(10), ''), CHAR(13), '');CHAR(10):  换行符CHAR(13):  回车符我的数据只有换行，所以更新：UPDATE tablename  SET  seller_name = REPLACE(seller_name,CHAR(10),'');...

SKlearn中好多机器学习模型已经做好了，使用的时候直接调用就可以，俗称“调包侠”，我觉得挺有意思，这样大大降低了机器学习的门槛，最近几天一直在使用svm训练模型，其中数据样本不均衡以及打分一直上不去，特征工程也调了好久，现在开始对svm的一些参数进行调试，看看模型会不会变得更好。SVC参数解释 （1）C: 目标函数的惩罚系数C，用来平衡分类间隔margin和错分样本的，default C = ...

作为一个程序员，平时喜欢关注虎嗅、36氪这样的互联网领域创业、融资事件，时间久了，也会从中收到一些感染和启发，今天这篇博文，是我在一个QQ群，看到别人总结的关于创业融资的一些事项，我觉得挺好，就记录下来了： 1、首要忌讳：态度不坚决，兼职创业，没有ALL IN心态和放手一搏意识的；2、作为第一条推论，不愿意放低短期利益，一上来就给核心团队高薪的；小富即安的；3、作为第一条推论，项目不接地气，抱着研...

1. 简单加2行代码即可。import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = [u'SimHei']plt.rcParams['axes.unicode_minus'] = False

#python计算两点间距离-mdef geodistance(lng1,lat1,lng2,lat2): lng1, lat1, lng2, lat2 = map(radians, [lng1, lat1, lng2, lat2]) dlon=lng2-lng1 dlat=lat2-lat1 a=sin(dlat/2)**2 + cos(lat1) * cos(...

题目要求：1．对于下图所示的有向图(访问顺序按序号从小到大)，试写出： (1) 从顶点①出发进行深度优先搜索所得到的深度优先生成树；(2) 从顶点②出发进行广度优先搜索所得到的广度优先生成树。 package com.test.tree;import java.util.*;public class Graph { // 存储节点信息 private Object[] ver...

题目描述：1. 一个整数数组L，如 L=[2,-3,3,50], 求L的一个非连续子序列，使其和最大，输出最大子序列的和。这里非连续子序列的定义是，子序列中任意相邻的两个数在原序列里都不相邻。例如，对于L=[2,-3,3,50]， 输出52（分析：很明显，该列表最大非连续子序列为[2,50]）。测试例子：L=[-2,-3,3,50,1,-1,100] 。用动态规划的思想：public class ...

使用keras实现CNN，直接上代码：from keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Activation, Flattenfrom keras.layers import Convolution2D, MaxPooling2...

经过几天对nlp的理解，接下来我们说说语言模型，下面还是以PPT方式给出。一、统计语言模型1、什么是统计语言模型？一个语言模型通常构建为字符串s的概率分布p(s)，这里的p(s)实际上反映的是s作为一个句子出现的概率。这里的概率指的是组成字符串的这个组合，在训练语料中出现的似然，与句子是否合乎语法无关。假设训练语料来自于人类的语言，那么可以认为这个概率是的是一句话是否是人话的概率。2、怎么建立统计...

在python3中，filter处理之后，变成了一个可迭代对象，解决办法有2中：① 切成python2② 在filter外面套一层listdf = df.dropna()lines=df.content.values.tolist()sentences=[]for line in lines: try: segs=jieba.lcut(line) se...

2018年，大家知道最火的是什么吗？对，是区块链，然而，目前区块链主要的内容集中在币圈，可能做金融的同学比较关注和喜欢，但是在一般电商、行业互联网中，我们刚刚经历了大数据、ML、DL的洗礼，这些技术很多还没有完全铺展开来，所以，基于这点，在2018年，我发现一个现象，就是随着各大公司、第三方对关系数据的整合和技术成熟之后，未来到2020年，我们做数据的大部分工作可能在处理非结构化数据，比如大量历史...

Kaggle比赛官网：https://www.kaggle.com/c/the-nature-conservancy-fisheries-monitoring代码：https://github.com/pengpaiSH/Kaggle_NCFM阅读参考：http://wh1te.me/index.php/2017/02/24/kaggle-ncfm-contest/相关的课程：http://cou...

Hive中有种假NULL，它看起来和NULL一摸一样，但是实际却不是NULL。例如如下这个查询：hive> desc ljn004;OKa      stringTimetaken: 0.237 seconds hive> select a fromljn004;OKNULLTimetaken: 46.232 seconds 看上去好像ljn004的a字段保存了一个 NULL，但是换一...

1、unix_timestamp() 得到当前时间戳 如果参数date满足yyyy-MM-dd HH:mm:ss形式，则可以直接unix_timestamp(string date) 得到参数对应的时间戳 如果参数date不满足yyyy-MM-dd HH:mm:ss形式，则我们需要指定date的形式，在进行转换 unix_timestamp(‘2009-03-20’, ‘yyyy-MM-dd...

说到价格预测，我们首先能想到的就是kaggle一个比赛，关于房价的预测，不过在房地产行业这么火热的时代，做一个中国版的房价预测也很有意思，但是博主想做的是一个对二手设备价格的预测，通过对二手设备的类型、年代、用过的时间、地理位置等各种特征，进行一个建模，来预测售价，不过这是个比较容易点的应用，未来对于能通过一张或者几张图片就预测二手设备的价格，我觉得这个是比较有挑战的。下面对价格的预测主要通过线性...

最近博主再看西瓜书第十三章半监督学习，文章中作者提到需要少量查询的主动学习、K-means簇的聚类，以及流行学习。对于流行学习，博主也是第一次接触，下面我们来简单学习和理解一下流行学习。1. 半监督学习SSL的成立依赖于模型假设，当模型假设正确时，无类标签的样例能够帮助改进学习性能。SSL依赖的假设有以下三个：1)平滑假设(Smoothness Assumption)：位于稠密数据区域的两个距离很...

Kettle常用的配置文件和配置说明：

目前，越来越多的企业，在大数据应用上，都会选择用户画像这一主题，为什么呢？因为用户画像相对于做推荐以及机器学习等简单容易的多，做画像，更多是就是对用户数据的整合，然后做一些用户聚类、用推荐算法，比如基于用户的推荐和基于商品的推荐，获取用户或者进行商品营销应用。而在我们的实际应用中，不仅有用户画像，而且有关于物的画像，比如设备画像。然而，大多数情况下有一种常见的错误想法是画像维度的数据越多越好，画像...

Hive基于Hadoop的mapreduce来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在Hadoop环境下很难对数据进行全局排序，如果在Hadoop上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存...

在做数据ETL中，可能原始数据在列式存储Hbase中，这个时候，如果我们想清洗数据，可以考虑把Hbase表映射为Hive的外表，然后使用Hive的HQL来清除处理数据，具体过程参考下面例子：步骤1，创建Hbase表 2，映射Hive表步骤一说明：cf 列簇名，只put了少量测试列 create ‘cofeed_info’,{NAME => ‘cf’, REPLICATION_SCOPE =&...

1. Connect to HBase.Connect to your running instance of HBase using the hbase shell command, located in the bin/ directory of your HBase install. In this example, some usage and version information t...

先吐槽几句，最近本博主一直在做数据平台的事，越发觉得做数据平台难，尤其数据量很大的情况下，然而一旦问题解决，又马上觉得峰回路转，蛮有成就感。下面就介绍一下，在已经存有大量数据的ES索引中（博主处理的大概在1亿7千万条），向一个type中添加一个新字段并赋给一个值。说明，cimissgcdb是index，agmedays是type。首先来查看一下原始的mapping:GET /cimissgcdb/...

对于ES来说，按照一般的查询流程来说，如果我想查询数据：1 客户端请求发给某个节点 2 节点转发给个个分片，查询每个分片上的前10条 3 结果返回给节点，整合数据，提取前10条 4 返回给请求客户端这时，你查询的的数据可以获取整个条数，但是返回的只是默认的10条，所以这个时候就需要考虑使用分页查询。对于数据量，博主在800万条的时候，用From&Size也是没有问题的，但是...

1. HashMap中k的值没有顺序，常用来做统计。2.LinkedHashMap吧。它内部有一个链表，保持Key插入的顺序。迭代的时候，也是按照插入顺序迭代，而且迭代比HashMap快。3. TreeMap的顺序是Key的自然顺序（如整数从小到大），也可以指定比较函数。但不是插入的顺序。4.Hashtable与 HashMap类似,它继承自Dictionary类、不同的是:它不允许记...

[1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444. [pdf] 地址：http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf深度学习是由多个处理层来学习表达数据的多个层次抽象。这些...