![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop/spark 安装实战
段智华
智华专注于GenAI/LLM大模型技术的研究,参与了7本书籍的写作,拥有3项专利,10多项软著,以及4篇IEEE国际会议论文。参与Gavin大咖主编,北京航空航天大学出版社2024年5月最新出版的2本图书著作:《Transformer&ChatGpt解密:原理、源码及案例》、《Transformer& Rasa 解密 原理、 源码及案例》,共撰写1948篇原创博客文章,涵盖Transformer、GPT-4、ChatGPT、Llama2/3、Langchain、Mistral、Mixtral、Rasa、AI机器学习、Spark大数据等主题。博客文章的总阅读量为310万次。
展开
-
Hadoop/spark安装实战(系列篇1)准备安装包
下载各安装包,准备安装CentOS 使用网盘上下载的vmvare虚拟机 centos系统spark 1.0.0http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgzscalahttp://www.scala-lang.org/download/2.10.4.htmljava jdk jdk-7u7原创 2015-09-02 21:40:35 · 777 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇4) Hadoop MapReduce词频统计之小试牛刀
Hadoop/spark安装实战(系列篇4) Hadoop MapReduce词频统计之小试牛刀运行hadoop 自带的例子的MapReduce 计算1 上传文件到hadoop的hdfs的根目录[root@localhost hadoop-1.2.1]# hadoop fs -put README.txt /检验[root@localhost hadoop-1.2.1]# ha原创 2015-09-12 21:52:51 · 977 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇6)迈入SPARK新世界
Hadoop/spark安装实战(系列篇6)迈入SPARK新世界 spark 安装1/spark 解压缩[root@localhost setup_tools]# tar -zxvf spark-1.0.0-bin-hadoop1.tgz2将文件移到/usr/local[root@localhost setup_tools]# mv spark-1.0.0-bin-ha原创 2015-09-12 22:41:53 · 999 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇2)安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录
Hadoop/spark安装实战(系列篇2)安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录1 虚拟机的安装目录 D:\VmvareSpark\CentOS_Spark\CentOS2 本地物理机地址 VMware Network Adapter VMnet1 192.168.2.1 虚机地址 192.168.2.100 虚拟机设置-网络适配器原创 2015-09-12 21:01:12 · 923 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇3) Hadoop 伪分布模式安装
Hadoop/spark安装实战(系列篇3) Hadoop 伪分布模式安装 Hadoop 的安装与配置 伪分布模式安装1/解压缩hadoop tar -zxvf hadoop-1.2.1-bin.tar.gz2/ 将文件移到/usr/localmv hadoop-1.2.1 /usr/local3/设置环境变量HADOOP_HOME,修改文件“/etc原创 2015-09-12 21:39:50 · 867 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇5) scala安装
Hadoop/spark安装实战(系列篇5) scala安装1/scala 解压缩 [root@localhost setup_tools]# tar -zxvf scala-2.10.4.tgz2将文件移到/usr/local mv scala-2.10.4 /usr/local3配置环境变量[root@localhost local]# vi /et原创 2015-09-12 22:08:40 · 928 阅读 · 0 评论 -
spark 训练营 scala学习
学习掌握Scala的基础概念Scala交互式命令行Scala基础语法:值,标识符,运算符,注释等Scala数据类型,变量Scala函数与类Scala的集合一:设置pathroot@spark :~/ $ vi ~/.zshrc [17:49:02]root@spark :~/ $ ex原创 2015-12-05 20:00:00 · 673 阅读 · 0 评论 -
windows环境下的socket nc 测试小工具nc -L -p 9999
windows环境下的socket nc 测试小工具nc -L -p 9999 在windows本地 进行测试,发送socket包到是怕人看streaming。少了这个工具还真不方便。 nc.exe网上下载,保存在C:\nc.exe;同时也保存一份放到了百度云盘,我的实验目录里面 操作步骤:1. cd C:\nc.exe2 , 启动eclipse的spark原创 2016-09-10 20:32:07 · 12413 阅读 · 0 评论