anu77781的博客

　 前几天领导让写一个从新闻语料中识别上市公司的方案。上市公司属于组织机构的范畴，组织机构识别属于命名实体识别的范畴。命名实体识别包括人名、地名、组织机构等信息的识别。 要想从新闻语料中识别上市公司就需要有上市公司的先验信息。趁着周末在家没重要事情，顺手写了个爬虫，爬取了上海交易所的上市公司的信息。 好吧，废话不多说直接上代码。说明：本次代码是一次性的，还有优化...

本次实践使用kafka console作为消息的生产者，Spark Streaming作为消息的消费者，具体实践代码如下首先启动kafka server.\bin\windows\kafka-server-start.bat .\config\server.properties创建一个Topic此处topic名以test为例kafka-topics.bat --crea...

目录 tuple学习笔记 tuple的定义 tuple的访问 拉链操作:zip array学习笔记 数组要点 定长数组 变长数组 遍历数组和数组缓冲 数组转换 ...

目录 安装部署 安装部署Java 安装zookeeper 使用kafka kafka常用命令 参考文献 安装部署安装部署Java下载需要安装的软件，下载地址：http://www.or...

本文旨在介绍Scala在其他语言中不太常见的符号含义，帮助理解Scala Code。随着我对Scala学习的深入，我会不断增加该篇博文的内容。修改记录----2016.11.23 新增scala中最神秘强大的下划线(_)用处下面介绍Scala中的符号：:::三个冒号运算符：表示list的连接操作val one = List(1,2,3)va...

1、Overview　　文件系统(FS)shell包含多种能直接与HDFS(Hadoop Distributed File System)及Hadoop支持的其他文件系统，例如Local FS,HFTP FS,S3 FS等进行直接交互的命令。FS shell由bin/hadoop fs <args>发起。 所有的FS shell都将URI作为参数。URI的形式...

Jupyter Notebook　　Jupyter Notebook 以前被称为IPython notebook。Jupyter Notebook是一款能集各种分析包括代码、图片、注释、公式及自己画的图一体的灵活工具。　　Jupyter 具有可扩展性。它支持多种语言，能容易的部署到自己的计算机或远程服务器上。用户只要通过ssh或http就能访问远程的Jupyter。更赞的是Jup...

本文是转发自：https://www.dataquest.io/blog/jupyter-notebook-tips-tricks-shortcuts/ 的一篇文章，先记录在此，等有空时我会翻译成中文。如果有读者看到该文，支持看原文。原文内容如下：27 Jupyter Notebook tips, tricks and shortcuts12 OCT 2016in...

　　众所周知，Hive有三种使用方式：CLI、HWI浏览器、Thrift客户端。安装配置完Hive后无需进行额外操作即可使用CLI。但是HWI则需要单独搭建。本文主要记录我自己搭建HWI的过程。　　说明：本文主要介绍HWI的安装，后续会完成下面两篇博文：HWI的介绍HWI的使用　　本博主主要是记录自己的学习内容，有哪些理解不到位的地方还请各位读者提出宝贵意见。...

1、下载intellij及Scala和Python插件　　intellij的下载地址：https://www.jetbrains.com/idea/download/#section=windows Scala插件下载地址：https://plugins.jetbrains.com/plugin/1347?pr=idea Python插件下载地址：ht...