- 博客(72)
- 收藏
- 关注
RSS订阅原创 数据库binlog恢复数据
数据库binlog恢复数据由于不想影响生产库的数据，所以我们将binlog 日志迁移到其他机器上进行恢复数据将mysql的所有数据复制出来docker cp b3cb037be179:/var/lib/mysql/ /home重新命名后 然后另外创建一个mysql 进行查看数据vim docker-compose.yamlversion: '3'services: mysql: restart: always image: mysql:5.7.30 conta
2021-04-07 10:54:27
356
原创 私有云搭建使用docker搭建
我已经将镜像上传百度云上链接：https://pan.baidu.com/s/1ZKin3zP833caXIeVzTc40A提取码：j2zf1、拉取镜像下载的是百度云的tar包的镜像docker load -i kodexplorerDocker.tar2、运行docker run -itd -p9999:80 kodexplorer:v6打开浏览器http://node01:9999/kodexplorer/index.php?user/login上面只能用于测试，但对于实际上我们更需
2020-06-19 14:28:19
1477
原创 spring 的WebMvc 配置
WebMvcConfigurationSupport、WebMvcConfigurer、@EnableWebMvc问题：为什么继承了WebMvcConfigurationSupport后有些配置会不生效呢？WebMvcConfigurer又是什么呢？简介：SpringBoot帮我们做了很多的事情，但是有的时候会有自定义的Handler，Interceptor，ViewResolver，MessageConverter等，该怎么配置呢？为什么继承了WebMvcConfigurationSupport后有
2020-06-05 20:26:08
649
原创 java使用lua 脚本操作redis 快速入门
1、添加依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency>2. 编写Lua脚本local jobs_key_ht = KEYS[1];local bucket_key_zset = KEYS[2];loca
2020-06-05 09:45:20
1328
原创 微信支付统一下单与支付成功回调
微信下单流程1、统一下单生成预支付订单，获取对应参数2、使用对应参数进行二次签名，返回给小程序进行发起支付3、等待微信后台回调我们自己的回调接口微信后台 接口文档https://pay.weixin.qq.com/wiki/doc/api/wxa/wxa_api.php?chapter=9_1统一下单工具类/** * @param appKey 商户平台设置的密钥key * @param appid 应用id * @para
2020-06-01 17:10:58
3050
原创 java的Lambda 表达式
注意：java8 以上才有Lambda 表达式Lambda 表达式的基础语法：Java8中引入了一个新的操作符 “->” 该操作符称为箭头操作符或 Lambda 操作符箭头操作符将 Lambda 表达式拆分成两部分：左侧：Lambda 表达式的参数列表右侧：Lambda 表达式中所需执行的功能， 即 Lambda 体一：无参数，无返回值//平时的写法@Test public void test1() { Runnable runnable = new Runnable() {
2020-05-30 16:51:08
179
转载 30分钟学会如何使用Shiro
转载自:https://www.cnblogs.com/learnhow/p/5694876.html一、架构要学习如何使用Shiro必须先从它的架构谈起，作为一款安全框架Shiro的设计相当精妙。Shiro的应用不依赖任何容器，它也可以在JavaSE下使用。但是最常用的环境还是JavaEE。下面以用户登录为例：（1）使用用户的登录信息创建令牌UsernamePasswordToken ...
2019-10-12 16:17:18
112
原创 Spring boot的filter 不能注入redis的问题 解决
问题在filter实现类这里注入的redisUtil 但是 拿到的却是 nullpublic class SecurityFilter implements Filter { @Autowired RedisUtil redisUtil; web应用启动的顺序是：listener->filter->servlet，先初始化listener，然后再来就filter的初始...
2019-10-12 09:55:16
3678
1
转载 Spark常见问题汇总
原文:https://my.oschina.net/tearsky/blog/629201注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、O...
2019-09-28 20:34:11
1546
转载 spark WARN scheduler.TaskSetManager: Lost task报错
spark提交代码发生以下错误WARN scheduler.TaskSetManager: Lost task 224.0 in stage 0.0 (TID 224, zdbdsps025.iccc.com): ExecutorLostFailure (executor 2 exited caused by one of the running tasks) Reason: Contain...
2019-09-27 19:59:23
10321
3
原创 SpringBoot的错误 Failed to read candidate component class
springboot 启动错误 显示错误是org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [jar:file:/C:/Users/Administrator/.m2/repository/org/springframework...
2019-09-04 20:15:05
12888
1
原创 flink的wordCount
编写Flink代码要求1、source -> transformations ->sink创建环境有两种批处理：ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();流处理：StreamExecutionEnvironment env = StreamExecutionEnvironm...
2019-09-02 20:14:39
171
转载 hbase中两种缓存机制memstore和blockcache详解（必看）
转载自：https://blog.51cto.com/12445535/2363376背景：1、缓存对于数据库来说极其的重要2、最理想的情况是，所有数据都能够缓存到内存，这样就不会有任何文件IO请求，读写性能必然会提升到极致。3、我们并不需要将所有数据都缓存起来，根据二八法则，80%的业务请求都集中在20%的热点数据上，4、把20%的数据缓存起来，将这部分数据缓存起就可以极大地提升系统性...
2019-07-24 06:42:57
4045
1
原创 爬虫小案例（初级）
昨天我朋友突然问我爬虫的一些事情，突然想起好像好久都没爬过数据了说一下我的爬取过程吧。爬虫无非就是模拟浏览器请求的过程来进行获取数据这次要爬取的网址是 https://db.yaozh.com/打开浏览器的控制台 F12 也可以调出来点击Network 并刷新网页 就可以查看网页的加载过程然后找到浏览器加载的第一个文件 也就是类型Type是document的文件查看预览一下...
2019-07-23 19:35:38
394
原创 Hbase的读写流程
Hbase使用memstore和storefile存储，Hbase只有增加数据，所有的更新和删除操作都是在后续的合并中进行，使得用户在写操作只要进入内存就立即返回实现Hbase高速存储1、client通过zookeeper的调度，向regionServer发出写数据请求，在Region中写数据2、数据首先是写入HLog和memstore，memstore的数据是有序的，当memstore达到...
2019-07-23 06:24:46
247
原创 Hbase架构
Client包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master为Region server分配region负责Region server的负载均...
2019-07-21 09:09:40
122
原创 Hive工作流程
1、interface 指的是Hive的用户接口，也就是client2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则...
2019-07-19 22:12:16
678
原创 hive优化
hive优化的核心思想：把Hive SQL当做MapReduce程序去优化Hive运行模式：本地模式 将数据拉取到本地进行计算集群模式 计算向数据移动 主要耗费时间是提交任务 和 yarn资源管理如果是测试 可以使用本地模式 这样跑程序比较快集群模式的优化1、并行计算 hive默认是没有开启的通过设置以下参数开启并行模式：set hive.exec.parallel=tru...
2019-07-19 19:42:46
339
原创 非正常关闭hdfs 并且节点还没全部起来就开始格式化
非正常关闭hdfs 并且节点还没全部起来就开始格式化然后怎么格式化都不会出现集群所有节点出来解决办法：1、删除文件重新格式化可以选择 删除所有节点的/var/hadoop-data/dfs/data/current文件 然后在NN里格式化 就会再次生成了格式化前 需要 先启动JN hadoop-daemon.sh start journalnode node02 03 04...
2019-07-18 07:10:11
150
原创 Flume介绍
flume是一个高可用，高可靠的，分布式的日志收集工具组件介绍从一个webserver读取到对应的日志数据，经过Flume的agent之后，将数据写入到hdfs中，agent中包含了三个核心的组件，分别是source，channel，sink。eventevent是flume数据传输的基本单元flume是以事件的形式将数据从源头传送到最终的目的event由可选的header和载有数据...
2019-07-17 21:25:08
159
原创 MapReduce执行流程
MR的执行过程Map端1、获取切片（hdfs的块），会以一行一行的读取，然后经过MR的textinputformat 转化为（key，value）形式2、自定义Map3、分区，默认是hashpartition，分区出来后 数据形式变为 （K，V，P）然后输出到缓冲区4、缓冲区接收大小为128M，当到达80%的时候 就会执行溢写线程进行溢写5、溢写的过程会执行排序（快速排序（比较器默认...
2019-07-17 06:54:31
97
原创 hdfs读流程
hdfs读流程1、hdfs client 会向请求NameNode检查（检查文件路径、文件信息等），返回第一个节点信息2、hdfs client会向第一个节点建立管道连接，第一个节点会向第二个节点建立连接，第二个节点会向第三个节点建立连接3、文件会切分为128M的块，这个块会以更小的包通过pipeline传入到第一个节点，第一个节点将包同时传入到第二个节点，第二个节点同时将包传入到第三个节...
2019-07-16 06:44:36
101
原创 hdfs注意事项
hdfs的注意一、hdfs存储的大小是 严格按照字节来进行存储的 分块也是严格按照字节进行切分二、一个文件所有块的大小都是一样大小的 除了最后一块三、已上传的文件可以更改副本数量，但是不能更改块的大小四、hdfs支持一次写入多次读取，可以追加文件，但是不可以修改文件，任何基于hdfs存储的开源软件说可以修改文件都是删除掉 重新写入！如有错欢迎提出修改及补充...
2019-07-15 21:57:12
339
原创 hadoo的edits和fsimage合并
1、当edits达到了 3600s 或者 满足64M 的其中之一条件 NameNode就会生成edits.new文件来进行存储元数据信息。2、SecondaryNameNode通过http协议从NameNode获取fsimage和edits文件（后面皆以SNN表示SecondaryNameNode NN表示NameNode）3、SNN将edits和fsimage 这两个文件进行合并为 fs...
2019-07-15 21:36:11
249
转载 怎么改变HDFS块大小
转载自https://blog.csdn.net/u010230476/article/details/40475767 1.上传test1.txt[hadoop@Master hadoop]$ hadoop fs -put /home/hadoop/input/...
2019-06-07 14:42:49
250
转载 解决Intellij idea Error:java: 无效的源发行版:1.x
转载自：https://blog.csdn.net/c15158032319/article/details/79577458新建项目编译出现错误如下：原因在于模块的target bytecode version和实际的编译器版本不一致所导致的错误。不管三七二十一，把所有jdk版本统统改成一样的，首先按下快捷键ctrl+shift+alt+s:把项目sdk改好后再来模块的sdk也改下：...
2019-05-10 11:41:28
382
转载 Sublime Text 3.0 安装破解以及 中文版
尊重原创 参考原文自https://blog.csdn.net/qq_28289405/article/details/81866563链接：https://pan.baidu.com/s/1Ib0abwSEpPAPlShy8fO_Iw 密码：ht1j一、安装二、注册注册码：第一组：—– BEGIN LICENSE —–TwitterInc200 U...
2019-05-09 17:32:36
3069
转载 intellij IDEA2016如何打可执行的jar包
转载自：https://blog.csdn.net/liufeilong_sean/article/details/75254875 环境信息：windows10 intellij IDEA2016.3.5 jdk 1.7操作步骤：1、在File&nbs...
2019-05-08 20:17:25
173
转载 鼠标悬浮设置参数提示
转载自https://blog.csdn.net/sayoko06/article/details/83654848 settings-->Editor-->General，在other中找到show quick documentation on mouse mov...
2019-05-08 16:35:40
342
转载 转载CSDN博客步骤
参考博客原址 http://blog.csdn.net/bolu1234/article/details/51867099转载CSDN博客步骤：1、CSDN博客页面右键，点击【检查】 2、点击检查后，页面右侧出现html代码，如下图 3、点击写博客、点击...
2019-05-08 16:33:08
72
原创 算子的分类和 宽依赖算子、窄依赖算子
一、转换算子转换算子：Transformation，懒执行，需要Action触发执行filter过滤 RDD[T]==>RDD[T],窄依赖mapRDD[T] ->RDD[O], 窄依赖flatMapRDD[T]–>RDD[[O]],一对多 ，窄依赖,mapToPairsample抽样算子 RDD[T]–>RDD[O],窄依赖sortByRDD[T...
2019-04-26 10:53:19
4617
原创 Scala 基础语法
Scala 基础语法如果你之前是一名 Java 程序员，并了解 Java 语言的基础知识，那么你能很快学会 Scala 的基础语法。Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。接下来我们来理解下，类，对象，方法，实例变量的概念：对象 - 对象有属性和行为。例如：一只狗的状属性...
2019-04-23 23:06:39
123
原创 RDD (Resilient Distributed Dateset) 弹性分布式数据集
RDD(Resilient Distributed Dateset) 弹性分布式数据集RDD不存数据， partition也是不存数据的RDD 五大特性1、RDD 是有由一系列partition 组成的 – 从hdfs 读取多少个block 就有 多少个 partition2、算子（函数）是作用在partition 上的3、RDD之间有依赖关系 – RDD2丢了 可以...
2019-04-23 23:04:58
293
原创 Spark的算子-详解
1、Transformations 转换算子特点：懒执行，需要action算子粗发执行flatMapmapmapToPairreduceByKeysortBy/sortByKeyfiltersample(true，0.1) //抽样 true 表示抽取是放回的 0.1随机抽取的概率 所以 最后的数字是不一定就是10%sample(true，0.1，100) 这样就会随...
2019-04-23 23:03:38
279
原创 Spark的环境搭建
1、解压spark安装包2、配置slaves 配置从节点进入到conf 下 cp slaves.template slavesvim slaves 删除localhost 写入 node02 node033、配置主节点 配置 需要根据实际情况来配置 超出配置 可能web会访问不了cp spark-env.sh.template spark-env.shvim spa...
2019-04-23 22:59:11
157
原创 Hbase读表操作优化
三、读表操作优化3.1 多HTable并发读创建多个HTable客户端用于读操作，提高读数据的吞吐量，一个例子：static final Configuration conf = HBaseConfiguration.create();static final String table_log_name = “user_log”;rTableLog = new HTable[tableN...
2019-04-21 21:16:04
314
原创 Hbase写表操作优化
二、写表操作优化2.1、多个HTable 并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：static final Configuration conf = HBaseConfiguration.create();static final String table_log_name = “user_log”;wTableLog = new HTable[tabl...
2019-04-21 21:14:10
305
原创 Hbase的表优化
一、表的设计优化1.1、提前创建region分区默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。1.2、rowKe...
2019-04-21 21:12:48
413
原创 Hbase架构解读
Client包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master为Region server分配region负责Region server的负载均衡...
2019-04-18 22:30:26
106
原创 Hbase环境配置
1、hosts iptables 网络 要确保通信 关闭防火墙2、时间 需要设置一致时间服务器ntpdate yum install -y ntp直接上网搜ntp时间服务器ntpdate ntp1.aliyun.com3、 jdk4、hadoop集群启动 可以不需要yarnstart-dfs.shnamenode datanode zk master re...
2019-04-18 22:27:26
387
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人