hadoop
STAR・Wang
这个作者很懒,什么都没留下…
展开
-
null/hadoopbinary/wintils.exe 报错
遇见 null/hadoopbinary/wintils.exe 报错是因为windows缺少hadoopCommon包,需要下载并解压hadoop-common-2.2.0-bin-master包并在环境变量中设置环境变量,1、在用户变量中新建HADOOP_HOME变量名,变量值为common包的位置2、在系统变量Path中,添加%HADOOP_HOME%\bin;点击确定保存,并重启电脑即可...原创 2021-09-17 15:50:19 · 128 阅读 · 0 评论 -
一图搞定MapReduce流程
原创 2021-05-25 19:07:09 · 157 阅读 · 0 评论 -
Hadoop高可用集群快速搭建
HDFS——HA集群配置在之前的教程中安装好hadoop、zookeeper1、在core-site.xml中添加以下的配置<configuration><!-- 把两个NameNode)的地址组装成一个集群mycluster --><property> <name>fs.defaultFS</name> <value>hdfs://集群名</value></property><!-- 指原创 2021-05-18 17:10:00 · 96 阅读 · 0 评论 -
OVER(PARTITION BY... ORDER BY...)的使用说明和意义
OVER(PARTITION BY... ORDER BY...)的使用说明和意义 这个函数长这个样子:OVER(PARTITION BY... ORDER BY...)顾名思义,PARTITION 中文是分割的意思,ORDER 是排序的意思,所以翻译一下就是先把一组数据按照制定的字段进行分割成各种组,然后组内按照某个字段排序。以实际案例来说明这个函数的使用,首先,我们先看一组普通排...转载 2021-04-01 16:11:44 · 1706 阅读 · 0 评论 -
hbase快速安装
hbase安装1、打开hbase/conf/ ,修改Hbase-env.sh1. export JAVA_HOME={jdk路径}2. export HBASE_MANAGES_ZK=false //使用外部zookeeper2、修改hbase-site.sh<property> <name>>hbase.rootdir</name> <value>hdfs://192.168.175.100:9000/hbase</val原创 2021-03-30 11:59:04 · 105 阅读 · 0 评论 -
使用java代码连接HDFS
前提是输入localhost:50070可以正常进入网页 Configuration conf=new Configuration(); try { FileSystem fs= FileSystem.get(new URI("hdfs://192.168.175.100:9000"),conf,"root");//创建文件夹 fs.mkdirs(new Path("/testHDFS/java/hello"));//上传文件 .原创 2021-03-29 08:23:48 · 754 阅读 · 0 评论 -
Hadoop安装教程
文章目录前言一、hadoop是什么?二、安装前准备1.安装包2.配置环境变量总结前言一、hadoop是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、安装前准备1.安装包首先下载hadoop 安装包,代码如下(示例):使用tar -zxvf命令来解压tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz解压后的文件夹hadoop-2.6.0-cdh5.14.2由于名字太长不方便记忆,所以把文件夹改名字为.原创 2021-03-18 19:20:53 · 162 阅读 · 0 评论