关注
分享
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。
沙漏无语
生活中的沙漏
展开
-
CDH6.2安装失败了，如何重新安装
CDH6.2安装失败了，如何重新安装IT猿阅读(406)2020-03-28收藏0次评论1> 删除Agent节点的UUID #rm -rf /var/lib/cloudera-scm-agent/cm_guid2> 清空主节点CM数据库 进入主节点的mysql数据库，然后drop database cm;3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* ...原创 2020-12-21 16:49:21 · 940 阅读 · 0 评论 -
cdh集群迁移 ip更改
#---1.修改每个用户的hostsvi /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6172.6.10.20 dip001172.6.10.21 dip002172.6.10.22 dip003172.6.10.23..原创 2020-12-21 15:53:21 · 271 阅读 · 0 评论 -
无法检测 Cloudera Manager Server:CDH安装的一个坑:could not contact scm server at localhost:7182, giving up
错误:在web界面安装 agent那一步，抛错，单击信息查看如下初步分析：是用localhost:7182 无法连接scm server尝试解决办法:1.检查关闭防火墙2.检查python版本2.6.63.检查/etc/hosts文件,重启网络service network restart4.检查/etc/sysconfig/network文件,重启网络service network restart5.检查/etc/resolv.conf文件,重启网络service network...原创 2020-12-16 14:43:54 · 885 阅读 · 0 评论 -
centos7在线安装mysql8
1．配置Mysql 8.0安装源：sudo rpm -Uvhhttps://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm2．安装Mysql 8.0sudo yum --enablerepo=mysql80-community install mysql-community-server以下都选y看到complete就是安装完啦，是不是很简单...原创 2020-12-15 10:46:25 · 509 阅读 · 0 评论 -
解决报错libssl.so.1.1: cannot open shared object file: No such file or directory
解决报错libssl.so.1.1: cannot open shared object file: No such file or directoryLinux运维/更新于2020年8月25日/0条评论Centos7默认提供的openssl版本是1.0.2的，某些 php 扩展或者其他软件依赖1.1以上版本如果过低的话就会报错libssl.so.1.1: cannot open shared object file: No such file or direct...原创 2020-12-14 17:41:15 · 45889 阅读 · 11 评论 -
centos7下离线安装mysql8的详细安装图解
1.下载 MySQL 所需要的安装包 网址：https://dev.mysql.com/downloads/mysql/2.Select Operating System: 选择 Red Hat ，CentOS 是基于红帽的，Select OS Version: 选择 linux 73.选择 RPM Bundle 点击 Download4.点击No thanks, just start my download. 进行下载5....原创 2020-12-14 11:50:09 · 706 阅读 · 0 评论 -
centos7 关闭 ipv6
centos7使用ipv6协议，如果出现问题了将会很难排查，所以想要关闭ipv6，该怎么关闭呢？下面我们就来看看详细的教程。1、使用ifconfig命令查看网卡信息，如果出现inet6 fe80::20c:29ff:fed0:3514，说明机器开启了ipv62、编辑/etc/sysctl.conf配置，增加net.ipv6.conf.all.disable_ipv6=13、编辑/etc/sysconfig/network配置，增加NETWORKING_IPV6=no，保存并退出.原创 2020-12-14 11:12:21 · 7710 阅读 · 2 评论 -
centos7下离线安装mysql
在线安装：yum -y install mysql-server离线安装：1.删除原有的mariadb，不然mysql装不进去 1 2 3 mariadb-libs-5.5.52-1.el7.x86_64 rpm -qa|grep mariadb rpm -e --nodeps mariadb-libs 1.在https://dev.mysql.com/downloads/mysql/选择为Red Hat Enterpr原创 2020-12-11 15:20:18 · 94 阅读 · 0 评论 -
（7）centos7 同步服务器时间
一、服务器配置1、查看服务器、客户端操作系统版本[root@hadoop101 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) 2、查看服务器是否安装ntp，系统默认安装ntpdate；[root@hadoop101 ~]# rpm -qa | grep ntpfontpackages-filesystem-1.44-8.el7.noarchntpdate-4.2.6p5-28.el7.centos.x原创 2020-12-11 11:37:29 · 769 阅读 · 0 评论 -
（5）centos7克隆虚拟机并配置网络
1.选择一个新建好的虚拟机，右键点击管理点击克隆选择创建完整克隆修改虚拟机名称和存放位置点击完成克隆成功2.现在克隆完毕的虚拟机还是无法使用的。右键点击刚才克隆的虚拟机选择设置，之后打开网络适配器的高级选项，多点击几次生成MAC地址（由于克隆的是母虚拟机的MAC地址，这里点击生成生成自己的MAC地址）3.运行k8s_3虚拟，修改ifcfg-ens33文件（由于克隆的是母机的文件，修改ip）PS：Centos7以下的系统还需要修改/etc/udev.原创 2020-12-10 15:53:14 · 286 阅读 · 0 评论 -
（6）centos7设置图形界面
首先使用ctrl+alt+f2切换到命令行模式，如果本身就是命令行模式就直接看下面的步骤 然后输入如下命令，查看当前开机启动模式 systemctl get-default1graphical.target代表开机时启动图形化界面multi-user.target代表开机时启动dos界面最后输入如下命令设置开机启动图形界面 systemctl set-default graphical.target 1同理，如果想开机启动dos界面，就输入如下命令 systemctl s原创 2020-12-10 13:23:38 · 573 阅读 · 0 评论 -
（4）centos 7 下载安装
一、CentOS7.4下载 官网下载地址：http://vault.centos.org/ 1、进入CentOS下载官网，找到CentOS7.4版本2、在CentOS7.4版本页面中，找到isos/ 3、进入页面后，可以看到x86_644、在CentOS下载页面中，选择 CentOS-7-x86_64-DVD-1708.torrent进行下载5、下载完成之后，由于“CentOS-7-x86_64-DVD-1708...原创 2020-12-04 13:39:53 · 358 阅读 · 0 评论 -
（3）centos 7 常用命令整理
重启命令立刻重启(root用户使用)rebootshutdown -r now1init 6110分钟后自动重启(root用户使用)shutdown -r 10 1在时间为20:35时候重启(root用户使用)shutdown -r 20:35 1如果是通过shutdown命令设置重启的话，可以取消重启shutdown -c1关机命令立刻关机(root用户使用)halt1poweroff1shutdown.原创 2020-12-04 13:34:52 · 267 阅读 · 0 评论 -
（2）centos7 常用命令
文章目录 1.Centos的操作指令 1.1常用命令 软件操作指令 服务器硬件资源和硬盘操作 文件和文件夹操作命令 系统用户操作命令 防火墙相关设置 sudo提权和文件传输操作 权限操作 vim操作 1.2准备工作 2.Centos7环境安装 2.1汇总命令 2.2安装mysql 2.3mysql的一些操作和指令 2.4卸载mysql 2.5安装jdk 2.6原创 2020-12-04 13:32:39 · 484 阅读 · 0 评论 -
（1）centos 7 常用命令
CentOS7 常用命令大全1、学习教材2、Linux Shell 简介 Linux shell指的是一种程序，有了它，用户就能通过键盘输入指令来操作计算机了。Shell会执行用户输入的命令，并且在显示器上显示执行结果。这种交互的全过程都是基于文本的，与其他各章介绍的图形化操作不同。这种面向命令行的用户界面被称为CLI(Command Line interface)。在图形化用户界面(GUI)出现之前，人们一直是通过命令行界面来操作计算机的。现在，基于图形界面的工具越来越多，...原创 2020-12-04 13:30:59 · 297 阅读 · 0 评论 -
CDH6.3.1企业版安装详细步骤
0. 主机规划虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent01 192.168.1.41 16 Core/32 GB/3 TB 192.168.1.203原创 2020-12-03 13:36:02 · 859 阅读 · 0 评论 -
大数据入门（25）sqoop快速入门
sqoop的使用----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置(1)修改配置文件 sqoop-env.sh #Set path to where bin/hadoop is available e...原创 2018-12-05 15:59:55 · 224 阅读 · 0 评论 -
大数据入门（24）kafka和storm的结合实例
1、原理：storm的lib下的jar, external\storm-kafka\storm-kafka-0.9.2-incubating.jar 此jar中的sqout已经写好2、/********** KafkaTopoMain ：运行，在本地生成文件****************/public class KafkaTopoMain { public static void...原创 2018-12-05 15:58:35 · 225 阅读 · 0 评论 -
大数据入门（23）kafka的第一个实例
导入kafka下lib的jar#################生产者：直接右键运行，weekend05的consumer会接收到#################################public class ProduceTest { public static void main(String[] args) throws Exception { Properties...原创 2018-12-05 15:57:19 · 185 阅读 · 0 评论 -
大数据入门（22）storm的第一个实例
public class RandomWordSpout extends BaseRichSpout{ private static final long serialVersionUID = 1L; private SpoutOutputCollector collector; //模拟一些数据 String[] words = {"iphone","xiaomi","mate",...原创 2018-12-05 15:56:06 · 236 阅读 · 0 评论 -
大数据入门（21）storm和kafka结合的实例
1、原理：storm的lib下的jar, external\storm-kafka\storm-kafka-0.9.2-incubating.jar 此jar中的sqout已经写好2、/********** KafkaTopoMain ：运行，在本地生成文件****************/public class KafkaTopoMain { public static v...原创 2018-12-05 15:53:37 · 684 阅读 · 0 评论 -
大数据入门（20）kafka安装配置
kafka基本概念1、kafka是一个分布式的消息缓存系统2、kafka集群中的服务器都叫做broker3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4、kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载5、每一个分区...原创 2018-11-10 13:39:02 · 615 阅读 · 0 评论 -
大数据入门（19）storm安装配置
1、安装一个zookeeper集群 使用weekend05，weekend06，weekend07安装有zookeeper集群 2、上传storm的安装包，解压 需要3台机子，nimbus(协调管理)、supervisor-01（负责具体运算）、supervisor-01（负责具体运算）3、修改配置文件storm.yaml #所使用的zookeeper集群主机 ...原创 2018-11-10 13:37:07 · 236 阅读 · 0 评论 -
大数据入门（18）hbase的shell语法
进入hbase命令行(bin下运行)./hbase shell帮助help显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列...原创 2018-11-10 13:35:22 · 292 阅读 · 0 评论 -
大数据入门（17）hbase集群搭建
1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） （1）修改hbase-env.sh export JAVA_HOME=/home/admin/app/java/jdk1.7.0_71 //告诉hbase使用外部的zk export...原创 2018-11-10 13:29:22 · 198 阅读 · 0 评论 -
大数据入门（16）mysql5.6.26的rpm方式安装
rpm方式安装（需要使用root权限）root 用户（或者admin 账户使用root 权限 ：sudo ;设置：vim /etc/sudoers），考虑到一系列的操作，直接用root1、上传.tar文件到某一单独文件夹解压：tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar2、添加mysql用户组和用户 ...原创 2018-11-10 13:27:29 · 453 阅读 · 0 评论 -
大数据入门（15）hive简介和配置
1、上传文件，解压到app 下 tar -zxvf 文件 -C app2、不配置文件的情况下 启动 ：./hive (目录：/home/admin/app/hive/bin) 创建表： create table t_1(id int ,name string); 查看：show tables; 退出：exit;当前目录下生产文件： metas...原创 2018-11-10 13:26:20 · 310 阅读 · 0 评论 -
大数据入门（14）hadoop+yarn+zookeeper集群搭建
1、右键clone虚拟机，进入图形界面，修改虚拟机ip即可，相关环境变量配置都存在2、集群规划：（必须设置主机名，配置主机名和ip的映射关系，每个文件都需要配置映射关系） 主机名 IP 安装的软件 运行的进程 weekend01 192.168.1.113 jdk、hadoop ...原创 2018-11-10 12:56:47 · 480 阅读 · 0 评论 -
大数据入门（13）zookeeper的安装配置
1、上传zookeeper-3.4.6.tar.gz2、解压文件到指定目录(目录：admin/app) tar -zxvf zookeeper-3.4.6.tar.gz -C /app3、配置（一台节点上） 3.1添加一个zoo.cfg配置文件（/home/admin/app/zookeeper-3.4.6/conf） $ZOOKEEPER/conf ...原创 2018-11-10 12:54:03 · 194 阅读 · 0 评论 -
大数据入门（12）mr倒排索引.
package com.hadoop.hdfs.mr.flowsort;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org....原创 2018-11-10 12:52:29 · 307 阅读 · 0 评论 -
大数据入门（11）mr自定义分组和切片划分
public class AreaPartitioner<KEY, VALUE> extends Partitioner<KEY, VALUE>{ private static HashMap<String,Integer> areaMap = new HashMap<String,Integer>(); static{ are...原创 2018-11-10 12:51:20 · 767 阅读 · 0 评论 -
大数据入门（10）序列化机制，mr流量求和
public class FlowBean implements WritableComparable<FlowBean>{ private String phoneNB; private long up_flow; private long d_flow; private long s_flow; //在反序列化时，反射...原创 2018-11-09 10:44:19 · 361 阅读 · 0 评论 -
大数据入门（9）mapreduce计算wordcount的程序编写
1、外部写好的程序打Java jar 包，导入jarsftp> put e:/wc.jar2、创建文本进行计算vi words.loghadoop fs -mkdir /wchadoop fs -mkdir /wc/srcData/3、运行jarhadoop jar wc.jar com.hadoop.mr.wordcount.WCRunnerhadoop jar w...原创 2018-11-09 10:42:13 · 464 阅读 · 0 评论 -
大数据入门（8）hdfs的客户端文件操作
package com.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache....原创 2018-11-09 10:39:16 · 331 阅读 · 0 评论 -
大数据入门（7）RPC客户端和RPC服务端通信
RPC客户端和RPC服务端通信：客户端：（导入jar:hdfs,common相关的）LoginControl:public class LoginControl { public static void main(String[] args) throws IOException { LoginService proxy = RPC.getProxy(LoginS...原创 2018-11-09 10:38:00 · 757 阅读 · 0 评论 -
大数据入门（6）hdfs的客户端java
从hdfs中copy 文件到当前虚拟机1、导入jar E:\lib\hadoop-2.4.1\share\hadoop\hdfs E:\lib\hadoop-2.4.1\share\hadoop\common2、copy 安装的Hadoop下的文件 core-site.xml hdfs-site.xml public static vo...原创 2018-11-09 10:36:22 · 152 阅读 · 0 评论 -
大数据入门（5）配置ssh免密登陆
登陆的1151、使用ssh登陆 ssh 192.168.1.116 输入密码 登陆成功 退出:exit2、配置免密登陆 配置ssh免登陆 第一步：生成ssh免登陆密钥 ssh-keygen -t rsa （四个回车） 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）...原创 2018-11-09 10:34:07 · 272 阅读 · 0 评论 -
大数据入门（3）配置hadoop
1、上传hadoop-2.4.1.tar.gz2、解压文件到指定目录(目录：admin/app) mkdir app tar -zxvf hadoop-2.4.1.tar.gz -C /app 删除share下的doc文件（目录：/home/admin/app/hadoop-2.4.1/share） rm -rf doc 3、修改配置文件（目录：/home/a...原创 2018-11-09 10:28:36 · 189 阅读 · 0 评论 -
大数据入门（2）安装linux的jdk
1、上传文件到linuxalt+p 进入ftp传文件sftp> put E:\soft\jdk-7u71-linux-x64.tar.gz2、创建文件夹解压文件（root用户权限）mkdir /usr/javatar -zxvf jdk-7u71-linux-x64.tar.gz -C /usr/java3、配置jdk环境变量vim /etc/profile...原创 2018-11-09 10:27:15 · 152 阅读 · 0 评论 -
大数据入门（1）准备linux环境
1、安装vmware 2、新建虚拟机file - new virtual machineinstall disc image file(iso) 选择镜像文件选择虚拟机安装路径，方便以后copy3、设置虚拟机ip（）第一步： edit - virtual network editor - 选择 bridged 第二步： 进入Linux图形界面 ...原创 2018-11-09 10:24:02 · 391 阅读 · 0 评论