BigData
文章平均质量分 69
lhever_
这个作者很懒,什么都没留下…
展开
-
从文件中读取,并归并排序
import org.apache.commons.io.IOUtils; import java.io.*; import java.util.ArrayList; import java.util.Arrays; import java.util.List; /** * <p>类说明:</p> * * @author lihong10 2021/5/21 14:31 * @version v1.0 * @modificationHistory===========.原创 2021-05-21 17:59:50 · 965 阅读 · 1 评论 -
centos7搭建spark集群环境笔记
安装spark(集群环境, 貌似spark的master节点必须与hadoop的master节点一致) cd /soft tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/ cd /usr/local/spark-2.2.1-bin-hadoop2.7 环...原创 2018-02-12 14:08:02 · 916 阅读 · 0 评论 -
java操作hadoop hdfs,实现文件上传下载demo
本文主要参考了Hadoop HDFS文件系统通过java FileSystem 实现上传下载等,并实际的做了一下验证。代码与引用的文章差别不大,现列出来作为备忘。 import java.io.*; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSD转载 2018-01-10 17:21:56 · 10221 阅读 · 0 评论 -
centos7 搭建spark单机环境
安装spark(单机环境) cd /soft tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/ /usr/local/spark-2.2.1-bin-hadoop2.7 环境变量: echo "export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.7" >> /etc/profil原创 2018-01-09 20:28:21 · 1588 阅读 · 0 评论 -
centos7 安装scala笔记
安装scala cd /soft tar -zxvf scala-2.12.4.tgz -C /usr/local/ cd /usr/local/ 环境变量: echo "export SCALA_HOME=/usr/local/scala-2.12.4" >> /etc/profile echo -e 'export PATH=$PATH:$SCALA_HOME/bin'>> /etc/p原创 2018-01-09 20:26:36 · 511 阅读 · 0 评论 -
centos7 搭建kafka集群笔记
安装kafka cd /soft tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/ mv /usr/local/kafka_2.11-1.0.0/ /usr/local/kafka_2.11 环境变量: echo "export KAFKA_HOME=/usr/local/kafka_2.11" >> /etc/profile echo -e '原创 2018-01-09 20:25:20 · 265 阅读 · 0 评论 -
centos7 安装hbase三节点集群笔记
安装HBase cd /soft tar -zxvf /soft/hbase-1.4.0-bin.tar.gz -C /usr/local/ cd /usr/local/ ###可以看hbase解压到该目录, 文件名称是: hbase-1.4.0 环境变量: echo "export HBASE_HOME=/usr/local/hbase-1.4.0" >> /etc/profile ech原创 2018-01-09 20:23:27 · 1691 阅读 · 0 评论 -
centos7 hadoop 3节点集群安装笔记
安装 hadoop 赋予hadoop用户sudo权限: 1. 切换到root用户,给hadoop用户授予sudo权限:修改/etc/sudoers文件,由于默认root用户也不可以写入,这里开启写入权限: su - root cd /etc/ ls -la | grep sudoer chmod u+w sudoers 2 增加一行,赋予hadoop用户sudo权限:原创 2018-01-09 20:20:05 · 969 阅读 · 0 评论 -
centos7 ssh免密钥登陆笔记
SSH免密钥登陆: 1.首先以root用户身份,修改:vim /etc/ssh/sshd_config #禁用root账户登录,如果是用root用户登录请开启。PermitRootLogin yes # 是否让 sshd 去检查用户家目录或相关档案的权限数据, # 这是为了担心使用者将某些重要档案的权限设错,可能会导致一些问题所致。 # 例如使用者的 ~.ssh/ 权限设错时,原创 2018-01-09 20:18:33 · 1144 阅读 · 1 评论 -
centos7安装zookeeper笔记
安装zookeeper 关闭防火墙: 停止: systemctl stop firewalld.service 禁止firewall开机启动 : systemctl disable firewalld.service 查看默认防火墙状态(关闭后显示notrunning,开启后显示running):firewall-cmd --state 解压安装: cd /soft tar -zx原创 2018-01-09 20:16:02 · 387 阅读 · 0 评论 -
centOs7安装java笔记
安装java 1. 列出已经安装的java:yum list installed | grep java 2. 卸载自带: yum -y remove java-1.7.0-openjdk.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64 yum -y remove java-1.8.0-op原创 2018-01-09 20:14:29 · 216 阅读 · 0 评论 -
java连接Hbase 1.4.0集群进行增删改查示例
1.本示例的项目结构如下图所示: 2.示例中的配置文件hbase-site.xml,只需将Hbase集群中的同名配置文件拷贝进来即可,该配置文件内容如下: <!-- /** * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreement原创 2018-01-11 20:26:03 · 4330 阅读 · 0 评论 -
hadoop 2.7.4 下运行WordCount例子笔记
1.源码如下: package com.mapred.core; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import o原创 2018-01-11 11:25:33 · 1229 阅读 · 0 评论 -
使用intellij idea 15.0.6工具创建可执行 JAR
第一步:选中项目,点击 File -> Project structure -> artifacts ,然后在弹出的面板的中间点击绿色+号按钮,选择 JAR -> from modules with dependencies。至此,弹出下图所示界面: 第二步:如上图所示,填写Main class的值为带有main方法的那个启动类的完整类名。 选原创 2018-01-11 10:59:22 · 549 阅读 · 0 评论