大数据入门
大数据入门--实战为主
shine_du
manongdwb_20201123
展开
-
大数据入门--Hadoop启动hadoop-3.1.4版本启动hdfs
配置文件修改hadoop目录/home/hadoop/app/hadoop-3.1.4/etc/hadoop修改 xml 文件 core-site.xml 和 hdfs-site.xmlcd /home/hadoop/app/hadoop-3.1.4/etc/hadoopvi core-site.xmlcore-site.xml 新增<configuration> <property> <name>fs.defaultFS</原创 2020-10-29 16:54:00 · 648 阅读 · 0 评论 -
大数据入门--windows安装sqlite3
下载链接: 百度网盘sqlite3提取码: erh2存放C盘新建目录 sqlite3 下载文件存放进去环境变量配置环境变量path新增 c:/sqlite3测试打开cmd输入sqlite3原创 2020-12-01 09:48:24 · 203 阅读 · 0 评论 -
大数据入门--linux和windows安装scala
安装安利apache的downloads地址 https://downloads.apache.org/下载wget https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz解压gunzip scala-2.10.6.tgztar xvf scala-2.10.6.tar原创 2020-12-17 16:20:37 · 200 阅读 · 0 评论 -
大数据入门--idea安装sbt插件
下载sbt-1.4.5.msi1,官网: http://www.scala-sbt.org/2,百度网盘: https://pan.baidu.com/s/1cyOJwpQcCxEB9NdwD5Htfg提取码: thv9安装1,下载完成后直接安装2,配置环境变量idea下载插件sbt如果搜不到sbt插件在settings --> updates 点击 check now更新插件重启idea即可搜索到然后下载sbt插件...原创 2020-12-22 15:14:06 · 356 阅读 · 0 评论 -
大数据入门--Sqoop的安装与实践(mysql数据导入hdfs)
下载官网 : http://sqoop.apache.org/下载 : sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压tar -zxvf /home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz配置环境变量vi /etc/profileexport SQOOP_HOME=/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0export PATH=$PATH:$SQOOP_HOME/bin原创 2020-12-23 14:06:29 · 133 阅读 · 0 评论 -
大数据入门--大数据框架整理
计算引擎Spark百度百科Spark:各种格式、各种计算(机器学习、图形计算)、可sql、可代码处理、支持scala/java/python语言开发。提供scala/python代码命令行运行、超大数据支持差。分析引擎(预计算系统)Apache Druid中文文档Apache Druid是一个高性能的实时分析型数据库Kylin百度百科Kylin:预计算、好优化、高性能、支持mr、spark、基于时间的增量更新、流式更新、数据源有hive/kafka、提供开发用的管理台是一套开发系统。由于有预计原创 2020-10-21 10:33:42 · 386 阅读 · 0 评论 -
大数据入门--linux和window安装hadoop-3.1.4
下载 hadoop-3.1.4.tar.gzHadoop官网地址window下载hadoop-3.1.4.tar.gz 官网下载链接linux下载wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz解压tar xf hadoop-3.1.4.tar.gz配置环境变量vim ~/.bash_profile新增以下内容(路径修改为自己的解压路径):export JAVA原创 2020-10-28 15:31:36 · 2229 阅读 · 0 评论 -
大数据入门--linux和windows安装spark-3.0.1-bin-hadoop3.2.tgz
安装安利apache的downloads地址 https://downloads.apache.org/下载wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz解压gunzip spark-3.0.1-bin-hadoop3.2.tgztar xvf spark-3.0.1-bin-hadoop3.2.tar原创 2020-12-17 16:18:12 · 1083 阅读 · 0 评论