关注
分享
段智华
智华从事人工智能和大数据研发工作十余年，码龄8年，参与2023年最新Transformer及Rasa对话机器人经典系列电子书、Rasa 3.X智能对话机器人项目实战电子书编写，深入研究Spark源码，参与王家林大咖主编出版Spark系列图书5本，清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》，从2015年开始撰写博文，累计原创1658篇，涵盖人工智能、智能对话、Rasa等内容，博客阅读量达248万次。
展开
-
Hadoop/spark安装实战（系列篇1）准备安装包
下载各安装包，准备安装CentOS 使用网盘上下载的vmvare虚拟机 centos系统spark 1.0.0http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgzscalahttp://www.scala-lang.org/download/2.10.4.htmljava jdk jdk-7u7原创 2015-09-02 21:40:35 · 774 阅读 · 0 评论 -
Hadoop/spark安装实战（系列篇4） Hadoop MapReduce词频统计之小试牛刀
Hadoop/spark安装实战（系列篇4） Hadoop MapReduce词频统计之小试牛刀运行hadoop 自带的例子的MapReduce 计算1 上传文件到hadoop的hdfs的根目录[root@localhost hadoop-1.2.1]# hadoop fs -put README.txt /检验[root@localhost hadoop-1.2.1]# ha原创 2015-09-12 21:52:51 · 974 阅读 · 0 评论 -
Hadoop/spark安装实战（系列篇6）迈入SPARK新世界
Hadoop/spark安装实战（系列篇6）迈入SPARK新世界 spark 安装1/spark 解压缩[root@localhost setup_tools]# tar -zxvf spark-1.0.0-bin-hadoop1.tgz2将文件移到/usr/local[root@localhost setup_tools]# mv spark-1.0.0-bin-ha原创 2015-09-12 22:41:53 · 975 阅读 · 0 评论 -
Hadoop/spark安装实战（系列篇2）安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录
Hadoop/spark安装实战（系列篇2）安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录1 虚拟机的安装目录 D:\VmvareSpark\CentOS_Spark\CentOS2 本地物理机地址 VMware Network Adapter VMnet1 192.168.2.1 虚机地址 192.168.2.100 虚拟机设置－网络适配器原创 2015-09-12 21:01:12 · 913 阅读 · 0 评论 -
Hadoop/spark安装实战（系列篇3） Hadoop 伪分布模式安装
Hadoop/spark安装实战（系列篇3） Hadoop 伪分布模式安装 Hadoop 的安装与配置 伪分布模式安装1/解压缩hadoop tar -zxvf hadoop-1.2.1-bin.tar.gz2/ 将文件移到/usr/localmv hadoop-1.2.1 /usr/local3/设置环境变量HADOOP_HOME，修改文件“/etc原创 2015-09-12 21:39:50 · 863 阅读 · 0 评论 -
Hadoop/spark安装实战（系列篇5） scala安装
Hadoop/spark安装实战（系列篇5） scala安装1/scala 解压缩 [root@localhost setup_tools]# tar -zxvf scala-2.10.4.tgz2将文件移到/usr/local mv scala-2.10.4 /usr/local3配置环境变量[root@localhost local]# vi /et原创 2015-09-12 22:08:40 · 926 阅读 · 0 评论 -
spark 训练营 scala学习
学习掌握Scala的基础概念Scala交互式命令行Scala基础语法：值，标识符，运算符，注释等Scala数据类型，变量Scala函数与类Scala的集合一：设置pathroot@spark :~/ $ vi ~/.zshrc [17:49:02]root@spark :~/ $ ex原创 2015-12-05 20:00:00 · 667 阅读 · 0 评论 -
windows环境下的socket nc 测试小工具nc -L -p 9999
windows环境下的socket nc 测试小工具nc -L -p 9999 在windows本地 进行测试，发送socket包到是怕人看streaming。少了这个工具还真不方便。 nc.exe网上下载，保存在C:\nc.exe；同时也保存一份放到了百度云盘，我的实验目录里面 操作步骤：1. cd C:\nc.exe2 , 启动eclipse的spark原创 2016-09-10 20:32:07 · 12378 阅读 · 0 评论