- 博客(28)
- 收藏
- 关注
RSS订阅原创 Centos7离线安装CDH5.16集群
手里有三台服务器，每台16内存，磁盘大小100G，搭建CDH集群版本如下：Centos7.6.1810Mysql5.6.50Cloudera-manager5.16.2本文参考了网络上的CDH安装的文章https://blog.csdn.net/czz1141979570/article/details/86658416)https://blog.csdn.net/weixin_40079336/article/details/86648553https://blog.csdn.net/
2021-01-19 14:36:52
295
原创 Spring常用注解总结
@Tablespring @Table注解 作用是 ： 声明此对象映射到数据库的数据表，通过它可以为实体指定表(talbe)常用的两个属性：1、name 用来命名 当前实体类 对应的数据库 表的名字@Table(name = "tab_user"）2、uniqueConstraints 用来批量命名唯一键其作用等同于多个：@Column(unique = true)@Table(name = "tab_user",uniqueConstraints = {@UniqueConstraint
2020-12-21 13:38:23
538
原创 Centos编写shell脚本
在编写Shell脚本之前，首先要配置好JDK1.8/etc/profile 环境变量export JAVA_HOME=/usr/java/jdk1.8export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jarexport PATH=$PATH:${JAVA_HOME}/bin ~/bashrc文件 环境变量的设置只对用户自己生效，配置这
2020-12-21 09:40:06
2288
1
原创 进制转换
文章目录二进制八进制十进制十六进制数制转换法十进制 转 二进制十进制 转 八进制十进制 转 十六进制进制转十进制二进制转十进制八进制转十进制十六进制转十进制二进制转十六进制十六进制转二进制二进制 转 八进制八进制 转 二进制最近看了下进制转换视频，做做笔记，方便后期查看二进制数码：0，1基数是2运算规则：逢2进1，借1当2八进制数码：0~7基数是8运算规则：逢8进1，借1当8十进制数码：0~9基数是10运算规则：逢10进1，借1当10十六进制数码：0~9，ABCDEF基数是1
2020-12-17 20:37:44
851
原创 Postgre存储过程编写
文章目录语法说明函数说明参考文章：https://www.cnblogs.com/persy_php/archive/2010/07/21/l_ping.htmlhttps://wiki.postgresql.org/wiki/9.1%E7%AC%AC%E4%B8%89%E5%8D%81%E4%B9%9D%E7%AB%A0https://blog.csdn.net/omguare/article/details/39351833语法说明CREATE OR REPLACE FUNCTION "pu
2020-12-08 13:55:05
663
原创 Kibana7.10.0 安装
文章目录下载解压配置 kibana_home启动kibanaKibana，数据可视化平台下载官网地址: https://www.elastic.co/cn/downloads/kibana解压tar -zxvf kibana-7.10.0-linux-x86_64.tar.gz配置 kibana_homeconfig/kibana.yml启动kibana完成上面配置后，进行启动bin/kibana后台启动：bin/kibana &启动后等待一段时间```![在这
2020-11-30 14:44:01
1523
原创 ELK-Elasticsearch7.10安装
文章目录下载es的包解压es包配置文件修改启动es验证关闭es下载es的包官网地址：https://www.elastic.co/cn/downloads/elasticsearch解压es包tar -zxvf elasticsearch-7.10.0-linux-x86_64.tar.gz配置文件修改进入解压完毕后的包，查看目录，进入到config目录下，修改elasticsearch.yml文件启动es按照上图修改完毕后，切换到非root用户，然后启动esbin/elasticse
2020-11-30 14:30:37
1251
原创 Elasticsearch-使用文档
只是使用，不涉及安装过程和集群原理，从官方文档 摘下来的Elasticsearch当阅读本书时，将会遇到有关 Elasticsearch 分布式特性的补充章节。这些章节将介绍有关集群扩容、故障转移(集群内的原理) 、应对文档存储(分布式文档存储) 、执行分布式搜索(执行分布式检索) ，以及分区（shard）及其工作原理(分片内部原理) 。这些章节并非必读，完全可以无需了解内部机制就使用 Elasticsearch，但是它们将从另一个角度帮助你了解更完整的 Elasticsearch 知识。可以根.
2020-11-26 16:39:37
209
原创 SpringBoot-框架五
SpringBoot原有Spring优缺点分析Spring是java企业版j2ee的轻量级代替品。虽然Spring的组件代码是轻量级的，但它的配置却是重量级的。一开始，Spring用XML配置，而且是很多XML配 置。Spring 2.5引入了基于注解的组件扫描，这消除了大量针对应用程序自身组件的显式XML配置。Spring 3.0引入 了基于Java的配置，这是一种类型安全的可重构配置方式，可以代替XML。所有这些配置都代表了开发时的损耗。因为在思考Spring特性配置和解决业务问题之间需要进行思
2020-11-26 13:31:55
146
原创 Spring-SSM整合-框架四
SSM开发环境搭建SSM是Spring为中心，来整合其他框架搭建SpringMybatis会给你生成实现类，你只要写接口就好了.编写dao层和service层的接口@Repositorypublic interface AccountDao { // 查询所有账户 @Select("select * from account") public List<Account> findAll(); // 保存帐户信息 @Insert("inser
2020-11-26 13:26:29
78
原创 SpringMvc简单实用-框架三
SpringMvc是什么？SpringMvc是一个表现层框架后面框架整合的时候是先通过springmvc，spring底层是Servlet，处理请求的机制是一个核心控制器springmvc是一个基于servlet的mvc框架执行流程request请求发送过来请求查找handler由处理器映射器handlermappering 进行处理这个请求，能够知道发送过来的请求让controller中哪个方法来帮你执行通过请求路径来匹配采用适配器的模式，请求适配器执行 handleradapt
2020-11-26 13:15:34
108
原创 Spring的简单使用-框架二
Spring框架概述Spring是什么Spring是分层的Java se/EE 应用full-stack轻量级开源框架，以及ioc(控制反转)和AOP（面向切面编程）为内核，提供了展现层SpringMVC和持久层Spring JDBC以及业务层事务管理等众多的企业级应用技术，还能整合开源世界众多著名的第三方框架和类库。逐渐成为使用最多的Java EE企业应用开源框架Spring两大核心IOC和AOPSpring的优势方便解耦，简化开发声明式事务的支持方便程序的测试方便集成各种优秀框架降
2020-11-25 21:33:12
198
原创 Mybatis的简单使用-框架一
最近要写接口，赶时间重新回顾了下框架的使用知识，原理没有过多的涉及，后续再好好刷一次文章目录Mybatis什么是Mybatis？技术解决方案Mybatis环境搭建注意事项搭建的不同方式XML文件的方式配置主配置文件：映射文件注解方式读取配置文件两种方式Mybatis什么是Mybatis？持久层框架，底层是用java编写的它封装了jdbc操作的很多细节，只用关注sql本身，无需关注注册驱动，创建链接等繁杂过程，使用了ORM(对象关系映射)思想实现了结果集的封装技术解决方案JDBC：connec
2020-11-25 20:31:32
226
原创 Kettle安装完报错：Driver class org.gjt.mm.mysql.Driver could not be found
今天安装Kettle使用，下载解压到本地后双击Spoon.bat 打开应用首先测试连接Mysql，但是报错，这时候知道他没有需要的Connection包，到Mysql官网下载后，这里我的Mysql是8.0.22的，下载的也是connect也是8.0.22的包下载解压这个包之后把这个包放入到 pdi-ce-8.2.0.0-342\data-integration\lib 目录下再次启动还是报错，感觉没什么变化，还是依旧仔细查看报错内容，发现要 ‘org.gjt.mm.mysql.Dri
2020-11-24 16:31:42
5852
1
原创 HDFS Gateway 报错 ：Failed to delete file or dir [/tmp/.hdfs-nfs]: it still exists.
tmp没有权限，所有Gateway节点都弄chmod 777 /tmp 重启Hdfs原来的权限是drwxrwxrwt这是只允许root用户来操作的目录执行完后 权限会改成drwxrwxrw变成了所有用户可以操作的目录
2020-11-12 10:02:16
825
原创 CDH5.16.2安装Kafka4.1.0
安装Kafka，需要下载Parcel包Kafka.parcel下载地址：http://archive.cloudera.com/kafka/parcels/4.1.0/安装过程将下面的三个文件上传到/opt/cloudera/parcel-repo目录下把sha1改成sha在7180页面进行解压和激活Kafka服务...
2020-11-12 09:36:05
510
1
原创 CDH5.16.2安装Spark2.4
安装了好几次才成功，做做笔记CDH安装时，用的离线安装，下载parcel包进行操作上面的这四个都得下载下来，manifest.json和parcel的可以在一起下载Spark2.4.0下载地址：https://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/Yarn的下载地址：http://archive.cloudera.com/spark2/csd/选择对应版本的进行下载下载完毕进行上传安装过程将下面的三个文件上传到/opt/
2020-11-12 09:15:13
505
1
原创 数据库分库分表可能产生的问题
原文链接：https://juejin.im/post/6844903992909103117文章目录分库分表带来的问题事务一致性问题分布式事务最终一致性跨节点关联查询join问题全局表字段冗余数据组装ER分片跨节点分页、排序、函数问题全局主键避重问题UUID结合数据库维护主键ID表Snowflake分布式自增ID算法数据迁移、扩容问题什么时候考虑分库分表分库分表带来的问题分库分表能有效缓解单机和单表带来的性能瓶颈和压力，突破网络IO、硬件资源、连接数的瓶颈，同时也带来一些问题，下面将描述这些问题和解
2020-11-11 13:32:19
551
原创 Mysql分库分表
文章目录为什么要分库分表？数据库瓶颈产生原因和解决办法IO瓶颈CPU瓶颈分库分表水平分库垂直分库水平分表垂直分表分库分表工具为什么要分库分表？原文链接：原文链接我没有用过分库分表，靠着这篇博客了解的关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。而切分数据库和表的方式就两种，垂直切分
2020-11-11 13:14:07
121
原创 ‘com.cloudera.server.cmf.TrialState‘:Cannot resolve reference to bean ‘entityManagerFactoryBean‘
今天CDH突然报错，先重启了一下CM，然后在重试，结果还是不行，WebUI打不开报错内容2020-11-10 13:32:36,827 ERROR 100851968@scm-web-6023:org.mortbay.log: /cmf/j_spring_security_checkjava.lang.RuntimeException: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCExceptio
2020-11-10 14:37:04
714
原创 Centos7下Canal1.1.4的安装
文章目录Canal是什么？安装前的准备重启你的Mysql服务进入你的mysql，添加canal使用的用户下载Canal修改配置文件启动Canal服务端查看日志客户端pom文件配置客户端代码Canal是什么？canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费工作原理canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议MySQL mast
2020-11-10 13:29:41
403
原创 Sqoop1导入hdfs/hive数据
CDH先安装了Sqoop2，以为用法一样，只是结构不一样了，后来发现用法完全不一样，又把sqoop给装了回来，还复习了一波hadoop1 是我的Mysql安装机器exercise Mysql中测试的的数据库test_table Mysql exercise数据库的测试表文章目录sqoop查询mysql的数据库sqoop查看指定数据库的表把mysql表的表结构导入到hive中把mysql的数据导入到hive中append增量导入数据lastmodified增量导入选项含义
2020-11-09 14:03:33
873
原创 Kafka2.2.*CDH命令行命令
查看所有topickafka-topics --list --bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092生产者kafka-console-producer --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic TP_LABEL消费者kafka-console-consumer --bootstrap-server hadoop1:9092,hado.
2020-11-06 21:38:48
344
原创 CDH5.16卸载
集群卸载，因为一些搞不定的问题，所以卸载重装一遍本文参考https://blog.csdn.net/weixin_35852328/article/details/817746271、停掉你的所有服务，包括cm2、停止完毕服务后，把之前安装的parcel的包 停用-删除下面的图是开头博主的图3、删除你的cluster4、停止你的进程/opt/cm-5.16.2/etc/init.d/cloudera-scm-server stop/opt/cm-5.16.2/etc/init.d
2020-11-06 10:09:40
277
原创 Centos7离线安装CDH5.16集群
手里有三台服务器，每台16内存，磁盘大小100G，搭建CDH集群版本如下：Centos7.6.1810Mysql5.6.50Cloudera-manager5.16.2本文参考了网络上的CDH安装的文章https://blog.csdn.net/czz1141979570/article/details/86658416)https://blog.csdn.net/weixin_40079336/article/details/86648553https://blog.csdn.net/
2020-11-06 09:14:03
236
1
原创 大数据部分知识总结
文章目录HadoopHiveZookeeperzk仲裁机制SparkSparkStreamingRDD五大特性SparkStreaming背压机制SparkShuffle的优化配置Kafkakafka数据同步/镜像工具 kafka mirror makerKafka为什么快mmap（内存文件映射）零拷贝（zero-copy）插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式
2020-11-03 09:20:13
141
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人