- 博客(250)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 ssh: Could not resolve hostname node1: Name or service not known
执行ssh命令报错：ssh: Could not resolve hostname node1: Name or service not known解决方式：vi /etc/hosts
2019-11-12 16:36:24
20116
4
原创 通过Sqoop在RDBMS和Hive之间传输数据
1、理论基础1、版本sqoop1:1.4开头 sqoop2:1.99开头 1和2不兼容 sqoop1只有maptask,task数量需要自己设置。没有集群概念 2、安装： 解压，配置环境变量，将mysql驱动包导入lib目录 更改配置文件 3、命令 sqoop help：查看sqoop命令帮助 sqoop import --h...
2019-11-08 16:12:29
266
原创 Maven基础知识大全
第一步： 下载好maven的软件包。 传送门：http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.zip第二步： 解压到安装目录，即可完成安装。 第三步： 将MAVEN_HOME加入环境变量，值为maven安装路径。...
2019-10-27 19:08:40
231
原创 Spark开发必会之：Java8新特性Lambda表达式
package lambda表达式;import java.util.Arrays;import java.util.List;import org.junit.Test;import com.sun.org.apache.xerces.internal.util.SynchronizedSymbolTable;/** * Lambda的常用六种写法 * () ->...
2019-07-01 14:04:33
685
转载 JUnit4 与 JUnit 5 常用注解对比
原文链接：https://blog.csdn.net/winteroak/article/details/80591598
2019-07-01 11:34:22
966
转载 清晰理解红黑树的演变---红黑的含义
前言红黑树，对不少人来说是个比较头疼的名字，在网上搜资料也很少有讲清楚其演变来源的，多数一上来就给你来五条定义，红啊黑啊与根节点距离相等之类的，然后就开始进行旋转、插入、删除这些操作。一通操作下来，连红色和黑色怎么来的，是什么含义，有什么作用都云里雾里的，能搞清楚就怪了。本文介绍红黑树，暂时不涉及任何代码，只是帮助你理解红黑树的演变来源，树结构中红黑色具体含义，保证...
2019-06-30 11:02:14
196
原创 设计模式的面试思路推演
1、面试官发问，话题牵引思路： 无论让你讲什么设计模式，统一引到单例设计模式。套路： 设计模式要将就讲最难的和应用最广的。 单例模式最难！ 单例模式简单？ 考虑了序列化吗？考虑了反射吗？考虑了安全性吗？考虑了多线程和高并发吗？2、单例模式概况写法很多，用得比较多的主要就三种懒汉模式，饿汉模式，枚举单例主要实现思路： 唯一空构造器私...
2019-06-10 11:22:38
2154
20
原创 修改MySQL编码格式
1、vi /etc/my.cnf 添加如下内容 [client] default_character_set=utf8 [mysqld] collation_server = utf8_general_ci character_set_server = utf82、重启mysql服务
2019-06-09 14:23:42
373
原创 快要遗忘的JAVA知识之温故而知新
1、session和cookie区别?cookie： 在浏览器端缓存诸如用户输入等小型非敏感数据，不安全。 关闭浏览器cookie销毁除非设置了有效期session: 在服务器端存储诸如数据库查询等敏感数据，session id自动由浏览器端cookie维护。 session id和session丢失一个，session失效 session id丢失...
2019-06-08 11:15:56
189
原创 工具类：HBase常用的api操作的java实现
对表的操作package com.imooc;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;public class HBaseTest { public static vo...
2019-05-19 12:29:15
3124
原创 MySQL经典练习题50道附答案
2019-05-19开始 2019-06-05结束每天更新两道题的答案，对应的补充知识点也会以博客的形式记录。建表语句#########创建学生表create table t_student( sid int primary key, sname varchar(10), sage date, ssex char(10))charset=utf8;INS...
2019-05-19 10:01:23
483
原创 Hadoop中HDFS小文件产生场景及其处理方案
影响： 1、文件的元数据存储在namenode中，每个文件的元数据都差不多大，小文件过多会极大的占用namonode的内存，制约集群的扩展。（主要影响） 2、在对小文件进行处理的时候，一个小文件对应一个maptask，一个maptask会起一个jvm进程，进程的开启销毁会严重性能。（jvm复用）产生场景： 1、实时处理：比如我们使用 Spark Streaming...
2019-05-15 21:28:46
1337
转载 Linux自带python2.6升级python3
服务linux器自带的是python2.6.无法安装 pip install paramiko。总是报错。系统自带的Python2.6又不能动。无奈只好再安装一个版本。自己尝试手动升级python2.7 最后还是放弃了，因为安装成功了，pip等组件也没法使用，尴尬。最终， 还是改为用anaconda辅助安装python3..(阿里云服务器，下载安装特别快)。。具体步骤如下：1.下...
2019-05-07 12:34:30
777
原创 Hive中的join实操加补充MySQL中的exits/in
hive中的join有以下几类： inner join/left join/right join/full join/cross join/left semi join测试数据: ja.txt 1 zhang3 2 li4 3 wang5 jb.txt 1 19 2 20 ...
2019-04-30 11:13:20
350
原创 用hive分析某地区掉话率top10的设备
数据如下：废话不多说，开干1、将数据上传至hdfs。2、建立原始数据表：create table phone_raw( record_time String, imei String, cell String, ph_num int, call_num int, drop_num int, duration int, drop_rate int, net_t...
2019-04-29 20:56:40
295
原创 hive的操作方式以及补充hive中的索引和视图
Hive操作方式1、命令行方式cli：A)执行SQL： hive> select * from psn; OK 1 zhang3 ["sing","tennis","running"] {"beijing":"daxing"} 10 2 li4 ["sing","pingpong","swim"] {"shanghai":"baoshan"} 10 ...
2019-04-29 17:19:33
339
原创 hive中的lateral view结合udtf函数的使用解决生产问题
===============================================================================create table psn( id int, name string, likes array<string>, address map<string,string>...
2019-04-29 15:02:00
876
原创 Hive中的参数设置的四种方式
1、参数分类hiveconf: 配置变量 可读写 一般我们设置的就是这一类参数system: 系统变量 可读写env： 环境变量 只读hivevar: 变量 可读写 hive -d key=val 使用：${key}2、查看hive参数hive>setenv:HISTSIZE=1000env:HIVE_...
2019-04-28 21:00:46
2567
原创 Hive常用的内置函数示例演示
测试数据：1 zhang3 sing-pingpong-running beijing:daxing2 li4 sing-pingpong-running beijing:daxing3 wang5 sing-pingpong-running beijing:daxing建表：create table psn( ...
2019-04-27 22:20:00
465
原创 hive 0.14版本新shell客户端工具beeline的使用及一些注意事项
1、beeline介绍 a)0.14版本后，基于hiveserver2的客户端工具beeline出现，可以替代传统的hive shell客户端。 beeline的使用必须结合hiveserver2,即必须先启动hiveserver2服务才能进入beeline客户端。 b)beeline更加的安全，它对外只暴露读的接口。增删改操作是没有权限的，举个例子来说：...
2019-04-27 10:44:32
2489
原创 Hive三种模式的简单介绍及具体搭建流程
理论基础hive有三种运行模式： 内嵌模式、本地模式、远程模式。内嵌模式： 元数据保村在内嵌的derby中，允许一个会话链接，尝试多个会话链接时会报错。本地模式： 本地安装mysql 替代derby存储元数据。 由于元数据的获取需要访问mysql，所以这就要求每一个用户必须要有对MySQL的访问权利。远程模式： 以本地模式为基础。 ...
2019-04-25 08:18:36
2190
原创 配置文件 "G:\虚拟机列表\Linux001.vmx" 由产品 VMware 创建, 其版本 VMware Workstation 不兼容并且不能使用.
解析：报这种错误一般是虚拟机文件里声明的VMware版本和真实的VMware版本不一致导致。我们可以手动更改真实VMware版本，或者更改虚拟机文件里声明的VMware版本。以下我们通过更该虚拟机文件内VMware版本来解决这一问题。1、找到虚拟机文件，用文本编辑器打开。2、在打开的文本中找到“virtualHW.version”属性，将其修改为真实VMware版本，保存。...
2019-04-22 09:28:13
4018
1
原创 单物理节点实现Redis3.x集群模式的简单搭建
1、理论基础1、集群由6个节点组成，三个主节点，每个主节点对应一个从节点。 主节点：8001、8002、8003 从节点：8004、8005、8006 对应关系：8001--8004/8002--8005/8003--8006 2、在8001节点上写入数据，数据经过计算得出在哪一个的hash槽，所以最终数据可能存在8001、 8002、 8003...
2019-04-20 15:27:55
232
原创 过时的技术：在Redis2.x单物理节点上借助redis-sentinel实现redis“一主二仆”模式的高可用
1、理论基础1、redis主从复制机制: 主节点数据更新后通过相关配置自动同步数据到从节点上的机制称之为redis的主从复制机制。 意义： 读写分离 容灾恢复2、读写分离 redis的Master-Slave机制中，主节点Master以写为主（可以读），备节点Slave以读为主（不可写）。2、redis安装...
2019-04-20 13:40:23
204
原创 事务演示：Redis的事务本质是一个队列
1、理论基础1、基础 a)redis的事务是部分事务，不能保证事务的原子性： 因为即使事务中有任何操作隐式地执行失败（即事务提交后该操作执行失败），事务仍会被提交，能正确执行的操作仍会写入数据库中。b)它的实质是将所有操作放到一个队列中按顺序执行。c)相关命令 multi:开启一个事务。 exec:提交一个事务。 discard:回滚事务...
2019-04-19 10:30:04
174
原创 Redis的key关键字和五种常用数据类型：String、List、Hash、Set、Zset及其示例演示
1、key关键字1、set/get/keys/del set u1 zhang3 #####添加数据 get u1 #####获取数据 exists u1 #####获取数据 del u1 #####删除数据 keys * #####获取所有数据2、expire/ttl/type expire u1 10 ...
2019-04-18 17:41:06
1164
原创 Redis配置文件redis.conf精讲
本人使用的是redis-3.0.01、概述redis.conf文件： redis的核心配置文件，要玩好redis，熟悉redis.conf是必不可少的。 该配置文件主要分为以下几个模块： INCLUDES、GENERAL、SNAPSHOTTING、REPLICATION、LIMITS、APPEND ONLY MODE、 LUA SCRIPT...
2019-04-18 14:35:10
175
原创 学习资料大全
1、Javaav471037812、Springav471037813、Spring Mvcav471768324、MyBatisav472288305、Spring Bootav472301376、Spring Cloudav472288307、Dubboav470091438、MySQLav477029059、Redisav4742317410、MongoD...
2019-04-18 12:46:15
1748
原创 Redis的持久化：RDB与AOF讲解
一、RDB（Redis Database）1、基础知识1、基础： 默认的持久化机制。 可以定时备份内存中的数据集。 每个某段时间内，如果发生了超过特定次数的写操作，则进行持久化。 生成的持久文件为/opt/apps/redis-2.8.18/bin/dump.rdb。 创建rdb文件后，时间计数器和次数计数器清零。 通过rdb恢复数据库，只...
2019-04-17 08:46:33
191
原创 Redis简单搭建及密码配置修改
1、yum -y install gcc tcl #####这个tcl是后续执行完第3步检查安装时“make test”要用的，不检查可以不装，对后续不会有任何影响2、cd /opt/source && tar zxvf redis-3.0.0.tar.gz -C ../apps3、cd../apps/redis-3.0.0 && make4、m...
2019-04-16 21:27:34
173
原创 命令行操作Zookeeper
1、命令讲解1、#####查看所有命令 [zk: localhost:2181(CONNECTED) 5] help ZooKeeper -server host:port cmd args connect host:port get path [watch] ls path [watch] set path data [version] rmr path...
2019-04-15 20:36:15
317
原创 彻底解惑MapReduce核心shuffle的执行流程及MapReducer调优
以处理text文件为例map端map端: 1、MRApplicationMaster启动maptask，并分配其一个编号，maptask根据编号寻找对应的存储文件位 置信息及切片长度的数据切片，默认数据切片对应的文件大小与blocksize大小一致。然后maptask 再根据数据切片寻找对应数据文件信息。然后maptask会通 org....
2019-04-14 17:02:17
313
原创 jps查看集群进程报错：7211 - - process imformation unavailable
在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看。有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailable这样的空值，有时候不用管它，一段时间后会自动消失。如果一直不...
2019-04-11 21:05:28
248
原创 深入剖析HDFS读写流程
一、读取数据流程1、原理图2、流程剖析a）客户端首先调用DistributedFileSystem对象的open方法，去和namenode建立rpc通信，请求namenode返回文件的元信息。b）namenode得到请求，会在内存中寻找文件元信息。找到后给客户端返回部分（读取文件较大）或全部的block列表，即FSDataInputStream对象。c）客户端调用F...
2019-04-11 16:56:07
265
原创 以两种方式配置多台服务器免密码来窥探免密码的内在逻辑
方式一示意图： 1-4、ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (执行顺序：Linux001、Linux002、lInux003、Linux004) 5-6、cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys && scp ~/.ssh/autho...
2019-04-10 21:47:40
198
转载 执行zkServer.sh status报错：Error contacting service. It is probably not running.
执行zkServer.sh start没任何问题，jps也能查看到进程。但是zkServer.sh status查看zk状态时，报错如下：JMX enabled by defaultUsing config: /opt/apps/zookeeper-3.4.6/bin/../conf/zoo.cfgError contacting service. It is probably not ...
2019-04-10 11:25:33
1446
原创 Hadoop全分布搭建
以下步骤，除非特别说明，否则在四台机器上都要单独执行一次。1、架构角色分配Linux001: DataNode、NodeManagerLinux002: DataNode、NodeManagerLinux003: DataNode、NodeManagerLinux004: NameNode、SecondaryNameNode、ResourceManager2、配置好网络，关闭i...
2019-04-08 19:56:19
515
原创 解决hdfs命令报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... usi
今天在集群上执行hdfs命令时，总是出现这样的报错信息19/04/06 22:03:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable更改日志级别export HADO...
2019-04-06 16:09:47
5272
4
原创 给Linux负载均衡服务器配置高可用
背景Linux服务器配置了负载均衡之后，解决了各服务器之间访问压力不均的问题。但是，如果负载均衡服务器只有一台，容易出现单点故障。所以我们需要给负载均衡服务器配置高可用。1、清除负载均衡服务器网卡及当前ipvs规则ifconfig eth0:3 down 清除在eth0上绑定了3号子网卡ipvsadm -C 清除当前ipvs规则（信息）2、选两台服务器充当负载均...
2019-04-03 21:22:03
954
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人