qq_41474121的博客

配置hive-site.xml<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.opti

Redis安装和配置解压进入到Redis目录下进行编译与安装编辑Redis目录下的redis.conf启动Redis解压tar -zxvf /h3ch/redis-4.0.1.tar.gz -C /usr/local/src/进入到Redis目录下进行编译与安装make cd ./src make install编辑Redis目录下的redis.conf* 把文件中的daemonize属性改为yes* 把 redis.conf配置文件中的 bind 127.0.0.1 这一行给注释掉，

安装Kafka解压安装启动zookeeper服务器启动kafka服务器解压安装tar -zxvf /h3cu/kafka_2.11-2.0.0.tgz -C /usr/local/src/启动zookeeper服务器/usr/local/src/kafka_2.11-2.0.0/bin//zookeeper-server-start.sh -daemon 等于 ./bin/zookeeper-server-start.sh -daemon/usr/local/src/kafka_2.11-2.0

安装Flink解压安装Flink配置只对当前root用户生效的环境变量修改/usr/local/srcflink-1.10.2/conf/下的 masters，slaves，flink-conf.yaml解压安装Flinktar -zxvf /h3ch/flink-1.10.2-bin-scala_2.11.tgz -C /usr/local/src配置只对当前root用户生效的环境变量export JAVA_HOME=/usr/local/src/jdkexport HADOOP_HOME=/

CentOS7安装MySQL一.卸载mariadb查询安装了是否mariadb卸载mariadb二.解压MySQL的安装包到一个目录MySQL重新命名mv创建一个目录负责存储MySQL的数据和生成数据库的连接文件创建mysql用户组和用户给 /usr/local/mysql/data 和 /var/run/mysqld 目录赋予权限配置MySQL的环境变量创建一个my.cnf文件安装MySQL一.卸载mariadb查询安装了是否mariadbrpm -qa | grep mariadb卸载mari

安装Spark解压到安装目录创建软链快捷键修改配置文件spark-env.sh配置环境变量修改`sbin`目录下的`spark-config.sh`,添加`jdk的环境变量`（如果不添加，启动spark的时候会报“JAVA_HOME not set” 异常）运行Spark先启动hadoop在启动sapark上篇完成后操作此篇解压到安装目录 tar zxvf /h3cu/spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/src/创建软链快捷键 ln -s /u

大数据搭建平台免登录设置复制文件转移到另一个服务器操作解压到指定文件夹环境变量配置和拷贝到另外两台Centos电脑上Hadoop安装配置免登录设置生成公钥和私钥ssh-keygen -t rsa (按三次回车)将公钥拷贝到要免密登录的目标机器上ssh-copy-id Hadoop01ssh-copy-id Hadoop02ssh-copy-id Hadoop03需要输入每个拷贝的对应的机器密码。测试是否能免密登陆ssh Hadoop01[root@Master2 src]# ss

Hadoop之MRjob入门一、mrjob的安装Hadoop 的各 Python 框架对比使用 mrjob 实现词组统计**启动 Hadoop 集群****启动 hadoop 集群:**代码实践mrjob 多种运行方式实战模拟一实战模拟二实战模拟挑战实验总结1.1 实验内容本实验将通过 python 中 mrjob 模块来调用 hadoop 处理数据。mrjob 是用来写能在 hadoop 运行的 python 程序的最简便方法，通过本次实验，你可以初步入门 mrjob，轻松编写 mr 来使用 ha

Hadoop常用命令Hadoop常用命令-格式Hadoop常用命令—查看版本hadoop常用命令—目录操作总结1、Hadoop常用命令-格式2、Hadoop常用命令-查看版本3、Hadoop常用命令-目录操作4、hadoop常用命令-文件操作Hadoop常用命令-格式HDFS提供了Shell的操作接口操作系统与外部最主要的接口就叫做shell。shell是操作系统最外面的一层。shell管理你与操作系统之间的交互:等待你输入，向操作系统解释你的输入，并且处理各种各样的操作系统的输出结果。