huangbaokang的博客

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到教程 搭建教程 shardingproxy可以实现数据库的分库分表，如下为搭建教程 我们使用docker搭建一主一从的mysql 主节点跑3307端口 从节点跑3317端口 提前建好相关目录。 mkdir /shardproxy/{master,slave}/mysql/{log,data,conf} -p docker run -p 3307:3306 --name mysql-master \ -v /shar

前提条件需要安装elasticsearch，下载一个tag.gz的压缩包，安装jdk环境，调整jvm参数，默认1g，虚拟机上内存不够运行会提示Killed。 [root@k8s-node1 logs]# curl -X GET "localhost:9200/_cat/nodes?v&pretty" ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 127.0.0.1

环境搭建请参看我前面的Hadoop集群安装博客。 -ls :查询指定路径信息 -put :从本地上传文件 -cat :查看HDFS文件内容 -get :下载文件到本地 -mkdir[-p] :创建目录 -rm[-r] : 删除目录/文件 命令前缀hdfs dfs是固定格式，也可以将hdfs命令配置到环境变量中 export JAVA_HOME=/data/soft/jdk1.8 export HADOOP_HOME=/data/soft/hadoop-3.2.1 export PATH=.:$JAVA_H

搭建分布式集群的前提安装步骤需要每一台机器都要执行（jdk安装，ip配置，主机名设置，hosts文件配置，关闭防火墙，免密登录） 免密登录注意，至少确保主节点可以免密登录到其他从节点 ssh-copy-id -i hadoop144 ssh-copy-id -i hadoop145 部署架构：一主两从 master:hadoop124(192.168.8.124) slave：hadoop144(192.168.8.144) : hadoop145(192.168.8.145) 1：把

准备环境： 一台虚拟机（centos7） ip:192.168.8.124 hostname:hadoop124 一、前提环境准备 1.设置静态ip 设置好后，需要重启网络 service network restart 2.设置主机名 临时设置主机名 永久设置主机名 3.hosts文件配置 4.关闭防火墙 注意，centos6跟centos7命令不同 临时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 5.

前提条件，在系统已安装jdk,zookeeper 安装jdk略，网上一堆的文章。 下载zookeeper 下载地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz 直接使用wget下载即可。 解压 tar -zxvf zookeeper-3.3.3.tar.gz 创建配置文件，直接拷...

前提条件：先安装jdk 官方下载spark-2.4.4-bin-hadoop2.7.tgz 官方地址：http://spark.apache.org/downloads.html 下载具体版本地址http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz 在linux中可以直接...

在安装好的hadoop里，安装教程可参考我的博客https://blog.csdn.net/huangbaokang/article/details/102895418 修改hadoop-env.sh cd hadoop_hbk/ vi hadoop-env.sh 主要修改JAVA_HOME环境变量，根据个人jdk环境 export JAVA_HOME=/usr/java/jdk1.8.0_20...

官网下载hadoop安装包 http://hadoop.apache.org/releases.html 我这里直接使用wget命令下载 cd /root/hbk wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz 解压 tar -zxvf hadoop-3....