anu77781-CSDN博客

转载 Python爬虫一：爬取上交所上市公司信息

　前几天领导让写一个从新闻语料中识别上市公司的方案。上市公司属于组织机构的范畴，组织机构识别属于命名实体识别的范畴。命名实体识别包括人名、地名、组织机构等信息的识别。要想从新闻语料中识别上市公司就需要有上市公司的先验信息。趁着周末在家没重要事情，顺手写了个爬虫，爬取了上海交易所的上市公司的信息。好吧，废话不多说直接上代码。说明：本次代码是一次性的，还有优化...

2017-05-19 11:50:00 1708

转载 Spark Streaming与kafka整合实践之WordCount

本次实践使用kafka console作为消息的生产者，Spark Streaming作为消息的消费者，具体实践代码如下首先启动kafka server.\bin\windows\kafka-server-start.bat .\config\server.properties创建一个Topic此处topic名以test为例kafka-topics.bat --crea...

2016-11-17 10:05:00 195

转载 Scala学习笔记之：tuple、array、Map

目录 tuple学习笔记 tuple的定义 tuple的访问拉链操作:zip array学习笔记数组要点定长数组变长数组遍历数组和数组缓冲数组转换 ...

2016-11-16 16:15:00 176

转载在Windows环境中安装并使用kafka

目录安装部署安装部署Java 安装zookeeper 使用kafka kafka常用命令参考文献安装部署安装部署Java下载需要安装的软件，下载地址：http://www.or...

2016-11-11 15:10:00 178

转载 scala中常用但其他语言不常见的符号含义

本文旨在介绍Scala在其他语言中不太常见的符号含义，帮助理解Scala Code。随着我对Scala学习的深入，我会不断增加该篇博文的内容。修改记录----2016.11.23 新增scala中最神秘强大的下划线(_)用处下面介绍Scala中的符号：:::三个冒号运算符：表示list的连接操作val one = List(1,2,3)va...

2016-11-04 17:30:00 141

转载搭建HWI(HiveWebInterface)步骤总结

　　众所周知，Hive有三种使用方式：CLI、HWI浏览器、Thrift客户端。安装配置完Hive后无需进行额外操作即可使用CLI。但是HWI则需要单独搭建。本文主要记录我自己搭建HWI的过程。　　说明：本文主要介绍HWI的安装，后续会完成下面两篇博文：HWI的介绍HWI的使用　　本博主主要是记录自己的学习内容，有哪些理解不到位的地方还请各位读者提出宝贵意见。...

2016-11-04 10:05:00 406

转载 intellij安装Scala及Python插件

1、下载intellij及Scala和Python插件　　intellij的下载地址：https://www.jetbrains.com/idea/download/#section=windows Scala插件下载地址：https://plugins.jetbrains.com/plugin/1347?pr=idea Python插件下载地址：ht...

2016-11-02 10:54:00 115

转载从零开始学Hadoop系列之File System命令一

1、Overview　　文件系统(FS)shell包含多种能直接与HDFS(Hadoop Distributed File System)及Hadoop支持的其他文件系统，例如Local FS,HFTP FS,S3 FS等进行直接交互的命令。FS shell由bin/hadoop fs <args>发起。所有的FS shell都将URI作为参数。URI的形式...

2016-11-01 14:04:00 188

转载 27个Jupyter Notebook使用技巧及快捷键(翻译版)

Jupyter Notebook　　Jupyter Notebook 以前被称为IPython notebook。Jupyter Notebook是一款能集各种分析包括代码、图片、注释、公式及自己画的图一体的灵活工具。　　Jupyter 具有可扩展性。它支持多种语言，能容易的部署到自己的计算机或远程服务器上。用户只要通过ssh或http就能访问远程的Jupyter。更赞的是Jup...

2016-10-20 16:02:00 3962

转载 27个Jupyter快捷键、技巧(原英文版)

本文是转发自：https://www.dataquest.io/blog/jupyter-notebook-tips-tricks-shortcuts/ 的一篇文章，先记录在此，等有空时我会翻译成中文。如果有读者看到该文，支持看原文。原文内容如下：27 Jupyter Notebook tips, tricks and shortcuts12 OCT 2016in...

2016-10-19 09:45:00 849

anu77781的博客