- 博客(50)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Mybatis与iBatis的主要区别对比
Mybatis与iBatis的主要差异对比他们都是优秀的持久层框架，MyBatis是现在最常用的持久层框架，可以动态地拼接sql语句，非常人性化，更适合逻辑复杂的sql；iBatis就是MyBatis前身，他们有很多相似的地方，今天主要讲一下sqlMap里面的变化。1. 传入参数iBatis是parameterClass，而MyBatis是可以不写的，也可以用parameterType;pa...
2018-10-31 11:19:26
18546
1
转载 RabbitMQ 学习
该篇文章内容较多，包括有rabbitMq相关的一些简单理论介绍，provider消息推送实例，consumer消息消费实例，Direct、Topic、Fanout的使用，消息回调、手动确认等。 （但是关于rabbitMq的安装，就不介绍了）�0�2在安装完rabbitMq后，输入http://ip:15672/�0�2，是可以看到一个简单后台管理界面的。在这个界面里面我们可以做些什么？可以手动创建虚拟host，创建用户，分配权限，创建交换机，创建队列等等，还有查看队列消息，消费效率，推送效率等等。
2021-07-05 10:46:55
186
原创 Sqoop把mysql数据导入hive，hdfs采用parquet+snappy存储
背景：1.业务和业务数据量不断增加，需要用到hadoop进行数据分析和存储，现在将mysql数据到到hive，每个mysql表结构都差不多，现在以order_node为例，它的字段类型有bigint,varchar,int,tinyint(1),tinyint(4),datetime,decimal(18,6);2.mysql表有300多张，30多张表数据量超过1000万，有5个表数据量已经过亿;3.hdfs副本数为3，为了节省存储空间，需要用parquet存储，snappy压缩,parquet+sn
2020-12-03 15:36:29
1932
1
原创 Kettle将mysql数据导入到Hive 数据类型不支持Decimal
1.我要将mysql的数据迁移到hdfs，使用etl工具Kettle2.在迁移过程中首先启动hadoop和hivehadoop启动start-all.sh，通过方位webui查看相关服务是否启动正常hive启动hive --service metastore &;hive --service hiveserver2 &;查看端口10000是否启动成功，netstat -alnp|grep 10000;3.在kettle写入的步骤报错Error setting value #124
2020-11-26 15:30:24
824
原创 CDH 搭建impala,kudu 建表插入数据问题总结
环境前提：cdh安装了hdfs/hive/yarn/zk/impala/kudu,所以集群都启动，且各个服务web-ui都可以访问，kudu-master-ui找不到tservers，端口都启动正确，用netstat -anlp|grep 端口1.impala不能插入数据，unable to find SASL plugin: PLAIN 主要是确实依赖， yum install gcc python-devel yum install cyrus-sasl*2.不能创建kudu表，...
2020-11-07 14:55:51
1559
1
原创 打开虚拟机 电脑自动重启解决办法
对比出问题的虚拟机目录下的文件与正常虚拟机目录下的文件有什么不同，一般会多出一个文件centos7module这个文件名是我虚拟机解压前的名字（我的虚拟机做好后，做成压缩包，可以放到网上，下次用时，直接下载解压，想要几个就复制几份，非常方便）...
2020-11-02 21:30:41
38692
12
原创 sqoop从mysql导数到hive动态分区
1.创建有dt的普通表homs.oms_order_tmpCREATE TABLE homs.oms_order_tmp(id int,order_id bigint,order_name string,custom string,created_time string,created_by date,updated_time string,updated_by string,status tinyint,day string) COMMENT ‘订单临时表’ STORED As textfile;问题
2020-10-17 11:18:14
1099
原创 springboot的Httpclient的503和Connection reset异常处理
springboot是一个scala编写的rest接口交互，scala的连接是akka1.503 service unbelievable解：akka-http-core设置request-timeout = 20 s，太短了。httpclient虽然设置6分钟，时间到了。那边服务不可用2.Connection reset:连接重试，httpclient本来设置超时是6分钟，每次到一分钟左右就出现这个问题 原因：在 akka-http-core里面,linger-timeout = 1 min,一
2020-09-03 11:20:53
3637
1
原创 springboot jar druib 启动建表 初始化数据
1.启动时执行@Componentpublic class InitConfig implements CommandLineRunner { private static final Logger log = LoggerFactory.getLogger(InitConfig.class); @Value("${hive.datasource.druid.driver-class-name}") public String driver; @Value("${in
2020-08-17 10:11:28
318
2
原创 maven项目版本升级 构建失败
Maven 构建失败--was cached in the local repository, resolution will not be reattempted until the updatemaven ‘parent.relativePath’ points at wrong local项目版本升级后，所有maven已经install的模块已经消失了，在maven操作parent pom时，relativePath找不到，一直报错，我们操作module pom时，它要依赖parentpom，所
2020-06-04 20:08:03
329
原创 java以路径来生成目录，并添加数据到路径下
1.改进版，以dto对象来封装 private static void addPath(ProjectTreeDTO root, String path, List<ProjectTablesDTO> tables) { StringBuilder url = new StringBuilder(); String[] pathArr = path.split("/"); for (String label : pathArr) { url.appe
2020-05-22 14:24:31
374
原创 JVM垃圾回收查看、分析和设置
0. jvm垃圾回收的基本概念 0.1 什么是垃圾，主要是堆，堆是完全二叉树结构 引用计数法 可达性分析，解决引用计数法循环依赖问题 0.2常用垃圾回收算法 基本策略 标记清除 标记复制（年轻代8：1：1） 标记整理（年老代） 分代收集 ...
2020-04-17 11:47:17
999
原创 linux 开机时启动脚本
DATAPLATFORM_HOME=xxx exist=sed -n '/luo-watchdog/'p /etc/rc.d/rc.localif [ -n “$exist” ]; thenecho “clear the history command”su - root -c “sed -i ‘/luo-watchdog.sh/d’ /etc/rc.d/rc.local”ficom...
2020-04-16 23:19:43
217
原创 docker安装并配置阿里加速器
版本检查，centos7及以上，看看CentOS7能上外网yum -y install gccyum -y install gcc-c++删除旧版本yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ ...
2020-04-15 09:52:38
194
原创 springboot 文件下载 文件名乱码 特殊字符乱码
1.废话不多说，直接上一段上传的代码@GetMapping(value = "/api/file/downloadFile")@ResponseBodypublic void getUrlDownload(String url, HttpServletResponse response) { File file = new File(url); // 后缀名 //判...
2020-04-02 17:28:12
1672
原创 xshell 拒绝了密码,nat模式的虚拟机，非root用户
1.网站都是说root用户的问题，我这个不是root用户2.检查密码，检查ssh启动，检查虚拟网卡配置，重装ssh，各种尝试都不行，搞了两天3.我的宿主机是在一个局域网内，里面有很多其他的ip正在使用，说起来我用nat模式，我的虚拟机ip跟本机局域网内ip相同都没有关系，一直以为这是个无可反驳的观点，可是最终检查出来是这个问题，***修改虚拟机ip（局域网内没有使用的ip，也就是ping不通的...
2020-03-01 16:25:41
270
原创 hive 元数据初始失败
1.驱动错误，我用的是mysql8.0，驱动改为com.mysql.cj.jdbc.Driver换驱动包2. 又报错 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was...
2020-03-01 11:42:18
673
原创 linux 修改主机名不重启
1.修改ip（有可能不需要修改，根据情况而定）vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="dhcp"DEFROUTE="yes"IPV4_FAILURE_dddFATAL="no"IPV6INIT="yes"IP...
2020-02-28 17:53:46
940
原创 sed 变量 路径 替换
sed -i “s#/home/centos/taskboard/front#${front_dir_sed}#” /usr/local/nginx/conf/nginx.conf
2020-01-16 15:08:06
659
原创 Fliink集成kafka
**kafka集成到flink**一、kafka下载安装和配置1.1.下载，注意scala的版本，目前通用的是2.11，2.12与2.11不兼容http://mirror.bit.edu.cn/apache/kafka/2.4.0/kafka_2.11-2.4.0.tgz1.2.解压到你所需要的目录,例如需要放到/soft目录下tar -xvf kafka_2.11-2.4.0.tg...
2019-12-31 16:06:52
714
原创 smart-admin 快速启动
快速启动Quick Start快速启动如果你是全栈开发者，你完全可以快速过一遍此文章，甚至也可以不用看，如果你是前端OR后端，请仔细阅读。1 拉取代码从 https://github.com/1024-lab/smart-admin 或者 https://gitee.com/lab1024/smart-admin 拉取最新代码2 启动后端2.1 执行Sql脚本（Mysql5.7+）...
2019-12-12 16:06:28
1619
原创 redis下载 安装 配置密码
1.redis下载1）官网下载地址：http://redis.io/download2）github下载地址：https://github.com/MSOpenTech/redis/tags3）https://pan.baidu.com/s/1f4e09XRNw_8STfjWRGjYcw 密码 6by42.安装到windows自动启动服务1）把下载的文件解压，在文件加下打开cmd，...
2019-12-10 15:21:46
113
转载 Spark on Yarn
1.配置安装Hadoop：需要安装HDFS模块和YARN模块，spark运行时要把jar包放到HDFS上。安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目录，Spark程序将作为yarn的客户端用户提交任务。export JAVA_HOME=/usr/local/jdk1.8.0_161export HA...
2019-11-09 11:56:00
132
原创 虚拟机VM 桥接模式 最简/最佳配置
1.修改网卡/etc/sysconfig/network-scripts/ifcfg-ens33,内容如下TYPE=“Ethernet”DEVICE=“ens33”ONBOOT=“yes”BOOTPROTO=“static”IPADDR=“192.168.1.223”GATEWAY=“192.168.1.1”NETMASK=“255.255.255.0”DNS1=“8.8.8.8”...
2019-10-12 10:04:41
327
原创 hbase 多线程 大数据量入库
1.插入数据库@Testpublic void poolinserts(){List poolInserts = new ArrayList();final Connection conn =HbaseUtils.conn();final String tableName = “ns1:t2”;ThreadPoolExecutor pool = ThreadPool.getPool(...
2019-07-06 19:23:55
548
原创 w-复杂sql
SELECT USR.USER_IDFROM syc_smg_usr USRleft join syc_smg_dpt dpt on usr.dept_id = dpt.dept_idwhere dpt.dept_level = 3AND DPT.ZSLIOAN_FLAG_DEPTID = ‘Y’ORDER BY USR.DEPT_ID;select count(1)–into v_...
2019-06-06 18:23:11
234
原创 w-hadoop02
1.0 简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。答：第一题：1使用root账户登录2 修改IP3 修改host主机名4 配置SSH免密码登录5 关闭防火墙6 安装JDK6 解压hadoop安装包7 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ，...
2019-06-06 18:21:51
266
原创 w-hadoop01
大数据面试总结大数据基础部分面试题：一．你了解Hadoop吗？讲一下Hadoop中HDFS的读写原理。读：客户端调用FileSystem的open方法，来打开希望读取的文件。FileSystem通过Rpc与namenode通信，namenode将获取到的信息整理，并将文件的所有内容发送给FileSystem对象，所有的副本块都会有对应的datanode位置信息；namenode会根据当前...
2019-06-06 18:20:59
151
原创 w-sqoop
sqoopsqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hi...
2019-06-06 18:20:25
188
原创 w-hive-codeView
一、求单月访问次数和总访问次数1、数据说明数据字段说明用户名，月份，访问次数数据格式A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,20...
2019-06-06 18:19:41
163
原创 w-hive
Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并...
2019-06-06 18:19:04
173
原创 w-Hive sql编写优化总结2-25
Hive sql编写优化总结Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select … from Ajo...
2019-06-06 18:18:31
158
转载 w 数据清洗
etl：数据清洗的一些梳理数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。预处理阶段预处理阶段主要做两件事情：一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的方式。二是看数据。这里...
2019-06-06 18:17:39
200
原创 join使用 hbase多线程插入无效问题
没有加join是无能执行多线程的代码如下@Testpublic void multInsert()throws Exception{final Connection conn =HbaseUtils.conn();final String tableName = “ns1:t2”;Thread t1 =new Thread(“thread1”){public void run() ...
2019-05-01 17:04:37
311
原创 python安装后 idea看不了源码 print报错
前提：运行print（1），打印1，不会报错，说明python已经安装好，没有导入编译jar解决：运行print(1)时，控制台会打印运行的目录，找到该目录，在当前运用上导入python的libs，然后重启idea，如下图...
2019-04-09 21:29:21
1281
空空如也
springboot明明配置了数据源，加载时一直报错，跪求帮忙
2018-10-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人