- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 4、hadoop全分布
目录（hadoop全分布）1秘钥分发：2各节点把node01的公钥追加到认证文件里：3复制Hadoop安装目录下的/opt/hadoop-2.6.5/etc下 hadoop 为 hadoop-pseudo（管理脚本只会读取hadoop目录）：4配置full：hadoop 目录下5将Hadoop安装目录 /opt/hadoop-2.6.5 分发到其他2,3,4节点6 将java环境配置：node1分...
2019-12-30 22:21:42
110
原创 3、hadoop伪分布式
目录（hadoop伪分布式）关闭防火墙hadoop包安装并配置环变：hadoop-2.6.5.tar.gzHadoop的第二次JAVA_HOME 环境变量配置 HADOOP_HOME配置Hadoop 配置文件 为了能寻找jdk的配置： 将下面三个文件中JAVA_HOME修改配置core-site.xml配置hdfs-site.xml配置slaves文件 配置从节点配置信息 datano...
2019-12-29 16:35:01
70
原创 2、多台虚拟机免密
目录（多台虚拟机免密）虚拟机生成密钥、公钥将当前系统公钥信息追加到当前服务器注册中心(该步骤实现当前系统免密)实现node2 免密登陆 node1将node02发送的公钥追加到node1服务器注册中心虚拟机生成密钥、公钥 检验家目录是否有.ssh 文件夹 没有则先 ssh localhost 登录一下就有了 ssh-keygen -t dsa -P '' -f ~/.ssh/id_d...
2019-12-27 17:40:21
145
原创 1、MAC VMwave安装多个Linux(centos)虚拟机
MAC VMwave安装多个Linux(centos)虚拟机安装VMwave安装centos下载os 镜像 https://www.centos.org/download/安装虚拟机输入ip addr 发现没有ip信息，这是因为网卡配置文件/etc/sysconfig/network-script/ifcfg-ens33里面的ONBOOT=no导致的，将这个参数配置成yes，即...
2019-12-27 14:51:31
627
转载 网络—net和桥接模式
1、相关概念说模式前，我再墨迹几句（如果这方面的概念清晰的话，请略过）：ip：ip就相当于地址，别人要访问你，都是通过ip访问的，比如在Windows的cmd中ping 8.8.8.8，能ping通，证明网络是没有问题的gateway：这个中文翻译叫网关，网关有什么用，用人话讲，就是让你的电脑能访问互联网的一串地址（192.168.163.1类似这种），如果这个设置对了，那么你的虚拟机或者你...
2019-12-19 17:49:36
4632
2
原创 redis工具 ：springboot使用redis
目录（springboot使用redis）mac 安装redis，用homebrew 安装homebrew常用命令搜索查看安装 3.2版本安装后根据提示操作启动redis启动server启动客户端springboot中配置 yml文件新建redis配置类JedisUtil 类测试类mac 安装redis，用homebrew 安装homebrew常用命令brew search ** //查找...
2019-12-18 17:58:39
101
原创 zip工具
目录（zip工具）压缩多个oss文件压缩多个文件 File解压zip压缩多个oss文件/** * 打包 多个oss文件 为 zip 包 * @param filenames 所要压缩的源 oss文件 * @param show_files 所要展示的文件名称列表(压缩完之后,压缩包里面的文件名称) * @throws IOException *...
2019-12-16 20:33:51
127
原创 kafka剖析
目录（kafka）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）常用(必会)（我在试着讲明白）kafkac常用命令常见问题(必知)（我在试着讲明白）异议本质(是什么)（我在试着讲明白）分布式消息系统，默认保存磁盘，默认保存7天作用(干什么)（我在试着讲明白）提供消息队列高...
2019-12-13 23:22:40
76
原创 sparkStreaming
目录（sparkStream）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）常用(必会)（我在试着讲明白）常见问题(必知)（我在试着讲明白）异议本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点...
2019-12-13 17:28:44
81
原创 java虚拟机
目录（java虚拟机）一、虚拟机同样的java代码在不同平台生成的机器码肯定是不一样的，因为不同的操作系统底层的硬件指令集是不同的。同一个java代码在windows上生成的机器码可能是0101…，在linux上生成的可能是1100…，那么这是怎么实现的呢？不知道同学们还记不记得，在下载jdk的时候，我们在oracle官网，基于不同的操作系统或者位数版本要下载不同的jdk版本，也就是说...
2019-12-13 17:26:04
304
1
原创 SparkSql
目录（SparkSql）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）Spark SQL由core，catalyst，hive和hive-thriftserver4个部分组成。1.Catalyst执行优化器UDFUDAF开窗函数优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）Sql运行流程sparkSql 运行原理分析1.使用Se...
2019-12-13 15:45:34
559
原创 SparkCore
目录（SparkCore）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）代码流程资源调度流程任务调度流程常用(必会)（我在试着讲明白）RDD常用的几个Action算子常见问题(必知)（我在试着讲明白）spark区分宽窄依赖的原因是什么？RDD的弹性哪里体现？哪里体现了RDD的分布式t...
2019-12-06 15:59:52
113
原创 idea根据数据库生成实体
Custom Generate POJOS.groovyimport com.intellij.database.model.DasTableimport com.intellij.database.model.ObjectKindimport com.intellij.database.util.Caseimport com.intellij.database.util.DasUtil...
2019-12-03 20:59:53
378
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人