- 博客(163)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 springboot项目在spark yarn 集群上部署运行
需求： 项目采用springboot开发，用于实现历史数据的统计分析及算法计算，通过spark-yarn运行跑出结果。环境：JDK：1.8操作系统：centos 7.6大数据架构：Hadoop -Yarn-HA；spark 、hive 集群模型项目预期效果：./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_..
2020-05-20 10:18:55
2734
4
原创 ssh 异常问题汇总
1、服务密码或ip变更导致的错误[root@hadoop03 ~]# ssh hadoop01@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEO
2022-02-16 11:56:29
654
原创 spark 算法应用——朴素贝叶斯(JAVA NaiveBayes)
public static void run(String[] args) { SparkSession sparkSession = null; Dataset<RowDataRecord> dsTemp = null; try { sparkSession = SparkSession .builder() .appName("JavaN.
2021-02-05 10:32:56
603
原创 centos7下安装mysql5.7异常情况
1、初始化数据库/usr/local/xxx/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/xxx/mysql --datadir=/usr/local/xxx/mysql/data --lc_messages_dir=/usr/local/xxx/mysql/share --lc_messages=en_US注：执行上面命令之前，可以先将环境变量PATH设置好。#mysqlexport PATH=$PATH
2021-01-14 17:52:13
314
原创 ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this st
在安装mysql5.7数据库，并初始化数据后进入mysql控制台执行查询命令时，报错提醒：mysql> show databases;ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.mysql> exitBye解决方法：按提示操作，修改首次用户密码。用root首次密码登录mysql后，执行修改密码命令：m
2021-01-14 17:41:53
1022
原创 hive中 map字段的查询问题
在进行hive sql查询map字段值时报错:NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?]) 仔细分析报错原因后再检查sql发现，sql中使用了关键字values,修改字段别名vals或使用上撇号引起来即可解决。hive (sparktest)> select name,size(family) size,family['father'] father,family['sister'] .
2020-12-15 17:38:20
1010
原创 Maven私服上传第三方Jar包操作
上传Jar包来源 ：第三方maven库Jar包或自己手工mvn打出的jar包； Maven管理工具nexus操作比如项目依赖包如下需要
2020-11-22 17:08:25
214
原创 Hadoop 数据存储之NameNode、DataNode
NameNode的功能：NameNode通过执行以下任务来管理文件系统命名空间。维护与文件系统相关的元数据，如文件层次结构和每个文件的块位置； 管理用户对数据文件的访问； 数据块和集群中存储节点的映射关系； 执行对文件系统的操作，如打开或关闭文件以及目录； 为集群中的DataNode成员提供注册服务并处理来自DataNode的周期性心跳； 确定哪些节点上的数据应该被复制，并删除超出的复制块； 处理DataNode发送的块报告并维护数据库的存放位置。虽然Namenode知道HDFS块的所
2020-10-19 21:11:52
1618
原创 Mysql数据库表用户创建及表授权
环境：mysql 数据库需求：现有库名为db1下表tab_1,tab_2，需要创建用户user_test，使他拥有库db1下表tab_1和tab_2的读、更新、插入、删除数据的权限。实现 创建用户user_test，密码为test.123456CREATE USER 'user_test'@'%' IDENTIFIED by 'test.123456'; 用户授权使他拥有数据库下多表读写数据权限GRANT SELECT,INSERT,UPDATE,DELE...
2020-10-14 13:49:39
831
原创 Mac 本升级系统后Git出现xcrun: error: invalid active developer path的问题
升级完系统后，git使用过程中会出现错误：xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun解决方法：在终端输入命令，安装xcode；xcode-select --install...
2020-06-03 09:19:21
194
原创 Zookeeper 集群4字命令白名单 stat is not executed because it is not in the whitelist.
今天搭建Hbase集群过程中，在页面http://hadoop01:16010/zk.jsp发现zk 通讯统计节（Quorum Server Statistics）存在提示stat is not executed because it is not in the whitelist.解决思路：[root@hadoop01 bigdata]# echo conf|nc hadoop01 2181conf is not executed because it is not in the whit..
2020-05-29 11:25:52
5830
2
原创 Hadoop与Hbase 版本兼容（官网）
Hbase与JDK兼容问题：Hadoop 与 Hbase 版本兼容问题：打对号的 兼容。http://hbase.apache.org/book.html#replication Hadoop Pre-2.6.1 and JDK 1.8 Kerberos When using pre-2.6.1 Hadoop versions and JDK 1.8 in a Kerberos environment, HBase server can fail and ...
2020-05-28 12:00:01
3681
2
原创 docker 启动container的时候出现iptables failed
问题：docker: Error response from daemon: driver failed programming external connectivity on endpoint redis-sentinel-26389 (80f509db95ec132621c4c2be37b333ce4a8250d13c6c3dbb04e6e0cbe135a35f): (iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0
2020-05-26 16:26:13
446
原创 spark DataSet和DataFrame join 关联多列操作
spark在进行两个dataFrame join时，关联条件为多列时，我们可以这样做：JAVA：Dataset<Row> resultTemp = user_prefer_ds4 //字段列进行关联时,左连接，关联字段（userId==myUserId && itemId==myItemId） ....
2019-12-30 10:19:58
7524
原创 JAVA-List to Map
现在记录其中一种实现方式：Map<String, String> item_id2title_map = item_conf_df.select("movieId", "title").collectAsList().stream() .collect(Collectors.toMap(row -> row.get(0).toString()...
2019-12-30 09:23:55
181
原创 mysql CONCAT_WS函数结果长度受限制
mysql 5.7+中CONCAT_WS 函数连接出来的字符串长度受限制问题1、通过命令 如下可以查看参数设置，默认1024.show variables like 'group_concat_max_len';2、修改该参数在mysql应用的config文件夹下的文件my.cnf中设置该参数具体值如下：[mysqld]group_concat_max_len =...
2019-09-23 18:45:30
2593
转载 XGBoost：参数解释
XGBoost参数在运行XGboost之前，必须设置三种类型成熟：general parameters，booster parameters和task parameters：General parameters：参数控制在提升（boosting）过程中使用哪种booster，常用的booster有树模型（tree）和线性模型（linear model）。 Booster paramete...
2019-09-11 16:16:38
164
原创 [绝杀技] 通过.ibd对mysql数据恢复
1、需求：环境：Centos7+Mysql5.7+ ;假设我们现在想恢复Mysql数据库 test中表person中的数据。其原始数据如下：表结构如下：CREATE TABLE `person` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(10) NOT NULL, `phone` varch...
2019-08-15 15:01:48
203
原创 springboot项目：spark 2 操作es6+
本文介绍springboot下 spark2 操作es6.1、环境springboot 2.1.3.RELEASEes: elasticsearch 6.4.3spark : 2.4.3scala: 2.11.12本人MAC本相关环境变量配置如下：JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_152.jdk...
2019-08-12 18:45:33
651
原创 Centos7.6 搭建es docker脚本
一份Centos7.6 搭建elasticsearch6.4.3 docker脚本：1、docker脚本docker run -itd --name bigdataES \ --restart=always \ --net=host \ -e "discovery.type=single-node" \ -p 9202:9200 \ -p 9300:9300 \ --ul...
2019-08-12 13:20:07
194
原创 hive 连接数据库mysql配置问题
[root@c167 conf]# hivewhich: no hbase in (/bin:/usr/bin:/usr/local/rvm/gems/ruby-2.3.8/bin:/usr/local/rvm/gems/ruby-2.3.8@global/bin:/usr/local/rvm/rubies/ruby-2.3.8/bin:/usr/local/sbin:/usr/local/b...
2019-06-18 10:44:27
636
原创 并发编程——上线文切换、死锁
1、什么是线程上线文切换时间片是CPU分配给线程执行的时间，由于时间片非常短，所以CPU通过不停切换线程执行。时间片时长一般几十毫秒。在切换线程前会保存当前任务线程的状态，以便下次再切回这个任务时可以再加载这个任务 的状态。任务从保存到再次加载的过程是一次上线文切换。2、死锁线程死锁是指由于两个或者多个线程互相持有对方所需要的资源，导致这些线程处于等待状态，无法前往执行。pu...
2018-11-25 13:23:22
395
原创 JVM 垃圾收集器
线程私有： java内存运行时区域，其中程序计数器、本地方法栈、虚拟机栈随着线程而生，随线程而终结；虚拟机栈中的栈帧随方法的进入和退出有条不紊地执行者出栈和入栈。每个栈帧中分配的内存基本上是类结构确定下来时就已知的（可认为编译期间已知），在这些区域不必过多考虑垃圾回收的问题，因为方法结束或线程退出后，内存自然会回收。 线程共享： JVM堆和方法区。一个接口多个实现类需...
2018-11-15 19:29:55
194
转载 Java单链表反转 Java实现单链表翻转
https://blog.csdn.net/guyuealian/article/details/51119499
2018-11-06 17:10:16
293
转载 Java 开发中的23种设计模式详解(转)
Java 开发中的23种设计模式详解(转)设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基...
2018-11-06 13:08:52
165
原创 并发工具类 countDownLatch、CyclicBarrier与Semaphore
1、等待多线程完成的 CountDownLatch CountDownLatch允许一个或多个线程等待其他线程完成操作。它的构造函数接受一个int类型的参数作为计数器，如果想等待N个点完成，这里传入N即可。调用countDown方法时，N就会减1，await方法会阻塞当前线程直到N为0时。N个点可以是N个线程，也可以是同一线程中的N个点。比如如下代码实现等待N个线程执行并发并等待N...
2018-11-01 17:49:56
167
转载 深入理解 Java 虚拟机
Java 代码编译和执行的整个过程Java 代码编译是由 Java 源码编译器来完成，流程图如下所示：Java 字节码的执行是由 JVM 执行引擎来完成，流程图如下所示：Java 代码编译和执行的整个过程包含了以下三个重要的机制：Java 源码编译机制 类加载机制 类执行机制Java 源码编译机制Java 源码编译由以下三个过程组成：分析和输入到符号表 注解...
2018-10-30 22:35:29
127
转载 spring bean 及注解的问题
Spring Beans21.什么是Spring beans?Spring beans 是那些形成Spring应用的主干的java对象。它们被Spring IOC容器初始化，装配，和管理。这些beans通过容器中配置的元数据创建。比如，以XML文件中<bean/> 的形式定义。Spring 框架定义的beans都是单件beans。在bean tag中有个属性”singlet...
2018-10-30 20:34:56
253
原创 redis 基础
单线程的redis 多快？单线程每秒钟达到万级别的处理能力。归结为三点：1、纯内存访问，redis 将所有数据放在内存租户，内存响应时长大约100纳秒，这是redis每秒万级别访问的基础。2、非阻塞IO多路复用模式。使用epoll作为IO多路复用技术的实现，再加上redis自身处理模型将epoll中的链接、读写、关闭都转换为事件，不在网络IO上浪费过多时间。3、单线程避免了线程...
2018-10-18 23:05:29
230
原创 gitlab ssh
ssh 连接时 docker容器22端口映射为7122了，所以git 通过ssh连接方式有所变动：原来的clone命令是这样的：git clone git@XXX.com:username/resources.git只需要把这个命令改成：git clone ssh://git@XXX.com:7122/username/resources.git注意有三个地方的改动1、增加了ss...
2018-10-17 18:30:26
357
原创 SpringCloud 注册与发现 之 注册中心高可用集群 Eureka
SpringCloud 注册与发现 之 注册中心高可用集群 Eureka 1、注册中心的存在服务提供者启动会注册到注册中心，并会定期发起心跳通知，告知注册中心“我还活着，别把我干掉”。 服务消费者到注册中心订阅服务，并拉取调用的服务列表到本地缓存，这是服务消费者发现服务提供者的过程。 服务消费者从服务列表中调用服务进行消费。 注册中心 是微服务治理的一部分。2、注册中心集...
2018-09-27 22:35:05
323
转载 Linux如何查找大文件或目录总结
https://www.cnblogs.com/kerrycode/p/4391859.html1、如何查找大文件其实很多时候，你需要了解当前系统下有哪些大文件，比如文件大小超过100M或1G（阀值视具体情况而定）。那么如何把这些大文件搜索出来呢？例如我要搜索当前目录下，超过800M大小的文件 find . -type f -size +800M如上命令所示，我们仅仅能看到超过...
2018-09-05 11:10:19
136
转载 bootstrapTable post 方式请求数据 （注意POST大小写）
$('#table').bootstrapTable({ url:'...', method: 'post', queryParams: function (params) { return param; }... 下面贴出bootstrapTable 源码，一看便知 request = $...
2018-08-15 10:03:18
11452
1
原创 直接运行jar包找不到主类和没有主清单属性的解决
springboot项目module 通过maven打包编译后，生成jar包；再通过命令java -jar eureka-server/target/eureka-server-0.0.1-SNAPSHOT.jar 启动后提示：jar包找不到主类和没有主清单属性。 解决方案：在对应的pom文件 build配置节中加入<plugins> <p...
2018-07-31 14:15:42
7247
原创 redis 3.2+ 集群实践
redis集群实践1、创建集群[root@test04 7000]# redis-trib.rb create --replicas 1 10.9.251.104:7000 10.9.251.104:7001 10.9.251.104:7002 10.9.251.103:7000 10.9.251.103:7001 10.9.251.103:7002>>> Creating c
2017-01-12 16:27:59
1146
原创 java 中System类
public static void systemTest() { Map getenv = System.getenv(); for (Map.Entry kvp : getenv.entrySet()) { System.out.println(String.format("环境变量：%S,值为:%s", kvp.getKey(), kv
2016-07-27 11:13:21
432
原创 C#图片处理像素质量等代码问题
private byte[] PutLogoInImage(Image commodityImage, Image priceImage, string activePrice, bool checked11, Image brandLogoImage = null) { byte[] result = null;
2015-11-03 15:30:53
2031
原创 IDEA 快捷键参考
Ctrl+Alt+L 格式化代码Ctrl+Shift+J 两行合成一行，删去不必要的空格匹配代码格式其他快捷键：【常规】Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾C
2015-09-10 13:55:24
379
转载 IntelliJ IDEA 14 注册码
import java.math.BigInteger;import java.util.Date;import java.util.Random;import java.util.zip.CRC32;public class keygen{ /** * @param s * @param i * @param bytes * @return */ publ
2015-08-22 18:44:51
911
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人