p715306030的博客

安装iptables-services ： yum install iptables-services 修改配置年间 进入下面目录进行修改： /etc/sysconfig/iptables 查看对外开放的端口状态 查询已开放的端口 netstat -anp 查询指定端口是否已开 firewall-cmd --query-port=666/tcp 提示 yes，表示开启；no表示未开启。 对外开发端口 查看想开的端口是否已开： firewall-cmd --query-port=6379/tcp

Hive是构建在Hadoop之上的数据仓库平台 - Hive是一个SQL解析引擎,它将SQL语句转译成MapReduce作业并在Hadoop上执行。 - Hive表是HDFS的一个文件目录，一个表名对应一个目录名，如果有分区表的话，则分区值对应子目录名。 - 其实质将hdfs文件内容变成了表的映射，然后通过mr查询。 - 底层存储是HDFS,中间执行时MR，或可视为中转代理。

hadoop生态圈 HDFS（分布式存储系统） Sqoop（数据库导入导出工具） hadoop用于数据画像 特征向量 防止维度爆炸，向量降维 数据矩阵，获取样本库 通过神经网络（权重不同），获取数据结果，冲突学习，控制误差，递归获取权重体系，优化计算复杂性（分布式，切割数据，通过并行计算优化时间） ...

根据Mysql官网下载提供的链接【mysql安装包下载（1-4）】，可先下载到主机后转存至虚拟机，或直接在虚拟机通过wget下载

打开idea软件，找到菜单项的File ----> Settings ----> Plugins ,在输入框内搜索 “hadoop” 或 “ big data ”,如图所示 若在idea上下载很慢，可以考虑 到 官网（https://plugins.jetbrains.com/）下载离线插件安装包，通过磁盘安装方式安装工具。 下载安装后需重启IDEA，配置big data tools c. 测试链接成功后，点击确定即可，效果图如下所示 ...

a、安装jdk； b、hadoop 解压；c、环境变量设置

shell是在控制台执行的脚本代码，它是客户端访问HDFS的方式之一。 ## 它是由两大部分组成， a. 一个是Hadoop头部指令（特定的hdfs关键字）可以有三种写法，我们一般使用 hadoop fs 。 b. 一个是具体的文件执行指令（与Linux操作指令类似,指令也分为两大部分，一个是保留关键字（作为执行事务）；另一个为参数项，即操作对象），比如 mkdir /tmp 表示在根目录下创建tmp的新目录

HDFS ----- Hadoop Distributed File System （hadoop 分布式文件系统） 概念： 它是一个分布式集群，可以支持海量数据存储，hadoop框架的核心之一以及重要组件

Hadoop shell指令 idea big data tool使用 HDFS-java编程与

hadoop属于分布式技术 框架，需要搭设集群环境，由于物理机有限，通过虚拟化技术可以实现集群节点的创建； hadoop应用的生产环境多使用Linux； 社区资源多，学习方便； 工具支持多，hadoop属于开源项目，与linux有共同点，有些开源工具方便使用；