大数据专题-hadoop
文章平均质量分 59
python以及Java技术栈,大数据Hadoop学习
一级泡芙爱好者
这个作者很懒,什么都没留下…
展开
-
06-hadoop集群配置
1.0 安装注意点安装注意点:NameNode 和 SecondaryNameNode 不要安装在同一台服务器2.0 开始配置核心文件2.1 打开文件所在的位置cd /opt/module/hadoop-3.1.3/etc/hadoop2.2 配置core-site.xmlvim core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="confi原创 2021-04-12 17:58:20 · 180 阅读 · 0 评论 -
05-配置ssh无密码连接
1.切入home目录在102中,查看一下所有的隐藏目录ls -al切入到.ssh文件夹下cd .ssh2.0 生成密钥对ssh-keygen -t rsa成功展示图片成功之后,图片展示3.0 将公钥开始进行复制ssh-copy-id hadoop103ssh-copy-id hadoop104注意点,还需要对自己进行设置查看4.0 将hadoop103 和hadoop104按照之前的步骤,分别进行配置5.0 开始进行配置root账号按照之前的步骤,分别进原创 2021-04-12 16:26:26 · 132 阅读 · 0 评论 -
04-hadoop完全分布式
1.0 准备工作3台客户机 关闭防火墙 静态IP 主机名称安装JDK配置环境变量安装hadoop配置环境变量配置集群单点启动配置ssh群起测试集群2.0 编写集群分发脚本2.1 scp安全拷贝2.1.1 基本语法scp -r 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称命令 递归2.1.2 将102上的jdk拷贝到103上scp -r jdk1.8.0_212/ daxia@hadoop103:/opt/module/原创 2021-04-12 15:54:15 · 129 阅读 · 0 评论 -
03-Hadoop安装JDK
在Hadoop102安装其余Hadoop103 Hadoop 104复制即可1.0 上传文件到镜像Hadoop102上传文件使用的是xftp2.0 解压缩jdk2.1 解压缩tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/查看一下解压缩的文件2.2 配置全局变量企业版本是配置在sh文件sudo cd /etc/profile.d进入文件夹cd /etc/profile.d/系统在开机加载的时候,需要的加载原创 2021-04-12 14:06:26 · 117 阅读 · 0 评论 -
02-Hadoop集群搭建
1.0 克隆模板虚拟机注意点:创建完整的克隆如此再复制几个虚拟机2.0 配置各个集群的IP和主机名Hadoop101 配置伪集群2.1 配置Hadoop102IP地址打开配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改配置文件TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE原创 2021-04-12 12:04:36 · 111 阅读 · 0 评论 -
01-Hadoop 3.0 安装之前centos的准备
1.0 环境以及版本2.0 安装虚拟机2.1 虚拟机安装过程2.2 虚拟机安装完成效果3.0 创建虚拟机centos3.1 加载磁盘文件将ISO文件加载进来3.2 打开虚拟机即可3.3 进行相关的配置3.3.1设置一下中文,设置时间3.3.2软件选择最小安装:生产环境用的比较多,全命令行操作GNOME 桌面:有界面,适合学习的时候使用3.3.3 安装位置设置...原创 2021-04-10 23:20:27 · 196 阅读 · 0 评论 -
Ubuntu16.04 安装搭建Hadoop spark 集群
1、将single node cluster 复制复制并且更改名字2、设置data1的网卡3、添加第二张网卡并且设置成主机模式4、设置data1服务器4.1 编辑interfaces文件 sudo gedit /etc/network/interfaces# interfaces(5) file used by ifup(8) and if...原创 2019-11-29 19:53:16 · 328 阅读 · 0 评论 -
Ubuntu安装搭建Hadoop spark 单机版本
1、查看当前Ubuntu的Java版本Java -version2、查看Java的安装路径update-alternatives --display java3、查看ubuntu的版本uname -a4、下载Hadoop 2.6.4 版本wget https://archive.apache.org/dist/hadoop/common/had...原创 2019-11-29 11:39:46 · 317 阅读 · 0 评论 -
修改Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException的问题
19/11/29 09:15:32 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id19/11/29 09:15:32 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTra...原创 2019-11-29 09:48:45 · 994 阅读 · 0 评论 -
could not start notebook please install ipython-notebook
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark赋值超级权限,由于权限不够导致的问题给当前的用户赋值超级权限sudo usermod -aG sudo 自己的用户名...原创 2019-08-12 12:42:18 · 165 阅读 · 0 评论 -
安装anaconda
1、下载wget https://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh2、安装bash Anaconda2-2.5.0-Linux-x86_64.sh -b-b是指按批次安装3、加入系统路径export PATH=/home/hadoop/anaconda2/bin:$PATH...原创 2019-08-12 11:09:45 · 170 阅读 · 0 评论 -
系统变量增加
/etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.所以如果你有对/etc/profile有修改的话必须得重启你的修改才会生效,此修改对每个用户都生效。可以通过命令source /etc/profile立即生效/etc/bashrc或/etc/bash.bashrc:为每一个运行b...原创 2019-11-15 19:45:01 · 261 阅读 · 0 评论 -
spark的学习之路:pyspark的本地运行以及在YARN的运行
一、本地运行pyspark --master local[N]local[N] 代表在本地运行,N的值代表同时执行N个程序(1)查看当前的运行模式:sc.master(2)读取本地文件,路径之前加上“file:” testFile = sc.textFile('file:/usr/local/spark/README.md')(3)显示项数testFil...原创 2019-03-29 15:27:13 · 5410 阅读 · 2 评论 -
hadoop 配置Hadoop集群,Ubuntu16.04
一台主要的计算机master,在HDFS中担任NAMENODE 在mapreduce2担任RESOURCEMANAGER的角色1、配置data1虚拟机ssh data1sudo rm -rf /usr/local/hadoop/tmp/dfs删除文件夹下的内容mkdir -p /usr/local/hadoop/tmp/dfs/data修改拥有者sudo...原创 2019-03-27 17:20:08 · 189 阅读 · 0 评论 -
查看Hadoop ResourceManager web界面
打开浏览器,输入:localhost:8088点击nodes,可以查看到当前的节点,data1,data2,data3打开NameNode web界面注意,现在地址改为localhost:50070原创 2019-03-27 17:31:52 · 4936 阅读 · 0 评论 -
Hadoop HDFS 命令
主要面对终端操作启动虚拟机集群,master data1 data2 data3主要操作在master这台机器上完成开启hdfs和yarn 同时开启./sbin/start-all.sh 开启./sbin/stop-all.sh 关闭将本地文件复制到HDFS上,操作指令:(1)将文件复制到HDFS上的目录/usr/local/hadoop/bin/hadoop...原创 2019-03-28 17:47:43 · 378 阅读 · 0 评论 -
通过用户界面浏览HDFS的目录或者文件
直接打开HDFS web界面直接可视化界面原创 2019-03-28 18:11:54 · 1418 阅读 · 2 评论 -
MapReduce的使用
MapReduce 这是一种程序开发模式,可以使用大量的服务器并行处理Map 将待处理的数据分割成很多的小份数据,由每一台服务器分别运行Reduce 进行数据的合并,最后汇总配置java的运行环境export PATH=${JAVA_HOME}/bin:${PATH}export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar创建测试目...原创 2019-03-28 19:04:19 · 860 阅读 · 0 评论 -
ubuntu 16.04 安装Hadoop2.6.4 以及适配的Java版本(必成)
1、基于环境Ubuntu 16.04 64位 作为系统环境(Ubuntu 14.04,12.04 也行,32位、64位均可),请自行安装系统。装好了 Ubuntu 系统之后,在安装 Hadoop 前还需要做一些必备工作。2、创建hadoop用户1、创建可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。sudo useradd -m hadoop ...原创 2019-08-08 08:35:58 · 582 阅读 · 0 评论 -
Hadoop加入到系统的指令
1、打开文件sudo vim ~/.bashrc2、填写相关配置export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export HADOOP_HOME=/home/hadoop/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATHexpo...原创 2019-08-08 20:36:18 · 222 阅读 · 0 评论 -
ubuntu 16.04 安装spark(适配版本hadoop2.7.1)
配置之前,查看各个之间的版本适配情况:由于spark是scala语言开发的,所以安装spark之前需要先安装Scala下载地址:Scala:https://www.scala-lang.org/download/2.11.8.htmlspark:http://archive.apache.org/dist/spark/spark-2.0.0/scala 的安装:解压...原创 2019-03-29 14:27:39 · 630 阅读 · 0 评论