自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(163)
  • 资源 (6)
  • 收藏
  • 关注

原创 springboot项目在spark yarn 集群上部署运行

需求: 项目采用springboot开发,用于实现历史数据的统计分析及算法计算,通过spark-yarn运行跑出结果。环境:JDK:1.8操作系统:centos 7.6大数据架构:Hadoop -Yarn-HA;spark 、hive 集群模型项目预期效果:./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_..

2020-05-20 10:18:55 2446 4

原创 ssh 异常问题汇总

1、服务密码或ip变更导致的错误[root@hadoop03 ~]# ssh hadoop01@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEO

2022-02-16 11:56:29 423

原创 spark 算法应用——朴素贝叶斯(JAVA NaiveBayes)

public static void run(String[] args) { SparkSession sparkSession = null; Dataset<RowDataRecord> dsTemp = null; try { sparkSession = SparkSession .builder() .appName("JavaN.

2021-02-05 10:32:56 474

原创 centos7下安装mysql5.7异常情况

1、初始化数据库/usr/local/xxx/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/xxx/mysql --datadir=/usr/local/xxx/mysql/data --lc_messages_dir=/usr/local/xxx/mysql/share --lc_messages=en_US注:执行上面命令之前,可以先将环境变量PATH设置好。#mysqlexport PATH=$PATH

2021-01-14 17:52:13 181

原创 ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this st

在安装mysql5.7数据库,并初始化数据后进入mysql控制台执行查询命令时,报错提醒:mysql> show databases;ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.mysql> exitBye解决方法:按提示操作,修改首次用户密码。用root首次密码登录mysql后,执行修改密码命令:m

2021-01-14 17:41:53 853

原创 hive中 map字段的查询问题

在进行hive sql查询map字段值时报错:NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?]) 仔细分析报错原因后再检查sql发现,sql中使用了关键字values,修改字段别名vals或使用上撇号引起来即可解决。hive (sparktest)> select name,size(family) size,family['father'] father,family['sister'] .

2020-12-15 17:38:20 891

原创 Maven私服上传第三方Jar包操作

上传Jar包来源 :第三方maven库Jar包或自己手工mvn打出的jar包; Maven管理工具nexus操作比如项目依赖包如下需要

2020-11-22 17:08:25 161

原创 Hadoop 数据存储之NameNode、DataNode

NameNode的功能:NameNode通过执行以下任务来管理文件系统命名空间。维护与文件系统相关的元数据,如文件层次结构和每个文件的块位置; 管理用户对数据文件的访问; 数据块和集群中存储节点的映射关系; 执行对文件系统的操作,如打开或关闭文件以及目录; 为集群中的DataNode成员提供注册服务并处理来自DataNode的周期性心跳; 确定哪些节点上的数据应该被复制,并删除超出的复制块; 处理DataNode发送的块报告并维护数据库的存放位置。虽然Namenode知道HDFS块的所

2020-10-19 21:11:52 1390

原创 Mysql数据库表用户创建及表授权

环境:mysql 数据库需求:现有库名为db1下表tab_1,tab_2,需要创建用户user_test,使他拥有库db1下表tab_1和tab_2的读、更新、插入、删除数据的权限。实现 创建用户user_test,密码为test.123456CREATE USER 'user_test'@'%' IDENTIFIED by 'test.123456'; 用户授权使他拥有数据库下多表读写数据权限GRANT SELECT,INSERT,UPDATE,DELE...

2020-10-14 13:49:39 710

原创 Mac 本升级系统后Git出现xcrun: error: invalid active developer path的问题

升级完系统后,git使用过程中会出现错误:xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun解决方法:在终端输入命令,安装xcode;xcode-select --install...

2020-06-03 09:19:21 157

原创 Zookeeper 集群4字命令白名单 stat is not executed because it is not in the whitelist.

今天搭建Hbase集群过程中,在页面http://hadoop01:16010/zk.jsp发现zk 通讯统计节(Quorum Server Statistics)存在提示stat is not executed because it is not in the whitelist.解决思路:[root@hadoop01 bigdata]# echo conf|nc hadoop01 2181conf is not executed because it is not in the whit..

2020-05-29 11:25:52 5331 2

原创 Hadoop与Hbase 版本兼容(官网)

Hbase与JDK兼容问题:Hadoop 与 Hbase 版本兼容问题:打对号的 兼容。http://hbase.apache.org/book.html#replication Hadoop Pre-2.6.1 and JDK 1.8 Kerberos When using pre-2.6.1 Hadoop versions and JDK 1.8 in a Kerberos environment, HBase server can fail and ...

2020-05-28 12:00:01 3407 2

原创 docker 启动container的时候出现iptables failed

问题:docker: Error response from daemon: driver failed programming external connectivity on endpoint redis-sentinel-26389 (80f509db95ec132621c4c2be37b333ce4a8250d13c6c3dbb04e6e0cbe135a35f): (iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0

2020-05-26 16:26:13 369

原创 spark DataSet和DataFrame join 关联多列操作

spark在进行两个dataFrame join时,关联条件为多列时,我们可以这样做:JAVA:Dataset<Row> resultTemp = user_prefer_ds4 //字段列进行关联时,左连接,关联字段(userId==myUserId && itemId==myItemId) ....

2019-12-30 10:19:58 7041

原创 JAVA-List to Map

现在记录其中一种实现方式:Map<String, String> item_id2title_map = item_conf_df.select("movieId", "title").collectAsList().stream() .collect(Collectors.toMap(row -> row.get(0).toString()...

2019-12-30 09:23:55 118

原创 mysql CONCAT_WS函数结果长度受限制

mysql 5.7+中CONCAT_WS 函数连接出来的字符串长度受限制问题1、通过命令 如下可以查看参数设置,默认1024.show variables like 'group_concat_max_len';2、修改该参数在mysql应用的config文件夹下的文件my.cnf中设置该参数具体值如下:[mysqld]group_concat_max_len =...

2019-09-23 18:45:30 2244

转载 XGBoost:参数解释

XGBoost参数在运行XGboost之前,必须设置三种类型成熟:general parameters,booster parameters和task parameters:General parameters:参数控制在提升(boosting)过程中使用哪种booster,常用的booster有树模型(tree)和线性模型(linear model)。 Booster paramete...

2019-09-11 16:16:38 121

原创 [绝杀技] 通过.ibd对mysql数据恢复

1、需求:环境:Centos7+Mysql5.7+ ;假设我们现在想恢复Mysql数据库 test中表person中的数据。其原始数据如下:表结构如下:CREATE TABLE `person` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(10) NOT NULL, `phone` varch...

2019-08-15 15:01:48 155

原创 springboot项目:spark 2 操作es6+

本文介绍springboot下 spark2 操作es6.1、环境springboot 2.1.3.RELEASEes: elasticsearch 6.4.3spark : 2.4.3scala: 2.11.12本人MAC本相关环境变量配置如下:JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_152.jdk...

2019-08-12 18:45:33 573

原创 Centos7.6 搭建es docker脚本

一份Centos7.6 搭建elasticsearch6.4.3 docker脚本:1、docker脚本docker run -itd --name bigdataES \ --restart=always \ --net=host \ -e "discovery.type=single-node" \ -p 9202:9200 \ -p 9300:9300 \ --ul...

2019-08-12 13:20:07 148

原创 hive 连接数据库mysql配置问题

[root@c167 conf]# hivewhich: no hbase in (/bin:/usr/bin:/usr/local/rvm/gems/ruby-2.3.8/bin:/usr/local/rvm/gems/ruby-2.3.8@global/bin:/usr/local/rvm/rubies/ruby-2.3.8/bin:/usr/local/sbin:/usr/local/b...

2019-06-18 10:44:27 560

原创 并发编程——上线文切换、死锁

1、什么是线程上线文切换时间片是CPU分配给线程执行的时间,由于时间片非常短,所以CPU通过不停切换线程执行。时间片时长一般几十毫秒。在切换线程前会保存当前任务线程的状态,以便下次再切回这个任务时可以再加载这个任务 的状态。任务从保存到再次加载的过程是一次上线文切换。2、死锁线程死锁是指由于两个或者多个线程互相持有对方所需要的资源,导致这些线程处于等待状态,无法前往执行。pu...

2018-11-25 13:23:22 342

原创 JVM 垃圾收集器

            线程私有:  java内存运行时区域,其中程序计数器、本地方法栈、虚拟机栈随着线程而生,随线程而终结;虚拟机栈中的栈帧随方法的进入和退出有条不紊地执行者出栈和入栈。每个栈帧中分配的内存基本上是类结构确定下来时就已知的(可认为编译期间已知),在这些区域不必过多考虑垃圾回收的问题,因为方法结束或线程退出后,内存自然会回收。 线程共享: JVM堆和方法区。一个接口多个实现类需...

2018-11-15 19:29:55 155

转载 Java单链表反转 Java实现单链表翻转

https://blog.csdn.net/guyuealian/article/details/51119499

2018-11-06 17:10:16 251

转载 Java 开发中的23种设计模式详解(转)

Java 开发中的23种设计模式详解(转)设计模式(Design Patterns) ——可复用面向对象软件的基础设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真正工程化,设计模式是软件工程的基...

2018-11-06 13:08:52 117

原创 并发工具类 countDownLatch、CyclicBarrier与Semaphore

1、等待多线程完成的 CountDownLatch CountDownLatch允许一个或多个线程等待其他线程完成操作。它的构造函数接受一个int类型的参数作为计数器,如果想等待N个点完成,这里传入N即可。调用countDown方法时,N就会减1,await方法会阻塞当前线程直到N为0时。N个点可以是N个线程,也可以是同一线程中的N个点。比如如下代码实现等待N个线程执行并发并等待N...

2018-11-01 17:49:56 130

转载 深入理解 Java 虚拟机

Java 代码编译和执行的整个过程Java 代码编译是由 Java 源码编译器来完成,流程图如下所示:Java 字节码的执行是由 JVM 执行引擎来完成,流程图如下所示:Java 代码编译和执行的整个过程包含了以下三个重要的机制:Java 源码编译机制 类加载机制 类执行机制Java 源码编译机制Java 源码编译由以下三个过程组成:分析和输入到符号表 注解...

2018-10-30 22:35:29 87

转载 spring bean 及注解的问题

Spring Beans21.什么是Spring beans?Spring beans 是那些形成Spring应用的主干的java对象。它们被Spring IOC容器初始化,装配,和管理。这些beans通过容器中配置的元数据创建。比如,以XML文件中&lt;bean/&gt; 的形式定义。Spring 框架定义的beans都是单件beans。在bean tag中有个属性”singlet...

2018-10-30 20:34:56 204

原创 redis 基础

单线程的redis 多快?单线程每秒钟达到万级别的处理能力。归结为三点:1、纯内存访问,redis 将所有数据放在内存租户,内存响应时长大约100纳秒,这是redis每秒万级别访问的基础。2、非阻塞IO多路复用模式。使用epoll作为IO多路复用技术的实现,再加上redis自身处理模型将epoll中的链接、读写、关闭都转换为事件,不在网络IO上浪费过多时间。3、单线程避免了线程...

2018-10-18 23:05:29 172

原创 gitlab ssh

ssh 连接时 docker容器22端口映射为7122了,所以git 通过ssh连接方式有所变动:原来的clone命令是这样的:git clone git@XXX.com:username/resources.git只需要把这个命令改成:git clone ssh://git@XXX.com:7122/username/resources.git注意有三个地方的改动1、增加了ss...

2018-10-17 18:30:26 289

原创 SpringCloud 注册与发现 之 注册中心高可用集群 Eureka

SpringCloud 注册与发现 之 注册中心高可用集群 Eureka  1、注册中心的存在服务提供者启动会注册到注册中心,并会定期发起心跳通知,告知注册中心“我还活着,别把我干掉”。 服务消费者到注册中心订阅服务,并拉取调用的服务列表到本地缓存,这是服务消费者发现服务提供者的过程。 服务消费者从服务列表中调用服务进行消费。 注册中心 是微服务治理的一部分。2、注册中心集...

2018-09-27 22:35:05 290

转载 Linux如何查找大文件或目录总结

https://www.cnblogs.com/kerrycode/p/4391859.html1、如何查找大文件其实很多时候,你需要了解当前系统下有哪些大文件,比如文件大小超过100M或1G(阀值视具体情况而定)。那么如何把这些大文件搜索出来呢?例如我要搜索当前目录下,超过800M大小的文件 find . -type f -size +800M如上命令所示,我们仅仅能看到超过...

2018-09-05 11:10:19 107

转载 bootstrapTable post 方式请求数据 (注意POST大小写)

$('#table').bootstrapTable({ url:'...', method: 'post', queryParams: function (params) { return param; }... 下面贴出bootstrapTable 源码,一看便知 request = $...

2018-08-15 10:03:18 10887 1

原创 直接运行jar包找不到主类和没有主清单属性的解决

springboot项目module 通过maven打包编译后,生成jar包;再通过命令java -jar eureka-server/target/eureka-server-0.0.1-SNAPSHOT.jar 启动后提示:jar包找不到主类和没有主清单属性。 解决方案:在对应的pom文件 build配置节中加入&lt;plugins&gt; &lt;p...

2018-07-31 14:15:42 6479

原创 redis 3.2+ 集群实践

redis集群实践1、创建集群[root@test04 7000]# redis-trib.rb create --replicas 1 10.9.251.104:7000 10.9.251.104:7001 10.9.251.104:7002 10.9.251.103:7000 10.9.251.103:7001 10.9.251.103:7002>>> Creating c

2017-01-12 16:27:59 1096 1

原创 java 中System类

public static void systemTest() { Map getenv = System.getenv(); for (Map.Entry kvp : getenv.entrySet()) { System.out.println(String.format("环境变量:%S,值为:%s", kvp.getKey(), kv

2016-07-27 11:13:21 397

翻译 取得各个国家ISO编码

可以通过IE浏览器,具体:【工具】=> 【Internet选项】=>【常规】=>【语言】

2016-07-27 10:05:22 595

原创 C#图片处理像素质量等代码问题

private byte[] PutLogoInImage(Image commodityImage, Image priceImage, string activePrice, bool checked11, Image brandLogoImage = null) { byte[] result = null;

2015-11-03 15:30:53 1954

原创 IDEA 快捷键参考

Ctrl+Alt+L 格式化代码Ctrl+Shift+J 两行合成一行,删去不必要的空格匹配代码格式其他快捷键:【常规】Ctrl+Shift + Enter,语句完成“!”,否定完成,输入表达式时按 “!”键Ctrl+E,最近的文件Ctrl+Shift+E,最近更改的文件Shift+Click,可以关闭文件Ctrl+[ OR ],可以跑到大括号的开头与结尾C

2015-09-10 13:55:24 346

转载 IntelliJ IDEA 14 注册码

import java.math.BigInteger;import java.util.Date;import java.util.Random;import java.util.zip.CRC32;public class keygen{ /** * @param s * @param i * @param bytes * @return */ publ

2015-08-22 18:44:51 872

开机自启动JAR应用.txt

我们现在已打包完成一个java应用jar包,如何想让该jar应用在服务器启动时自动启动呢? 文档给出详细步骤及完整脚本代码,一看就会。

2020-01-15

spring AOP 基础

spring AOP 基础 教程文档。 spring AOP 基础 教程文档。

2019-04-26

K8S+Docker 部署 Spring Cloud 集群

k8s docker 部署springcloud集群文档。 部署开发、云平台、容器技术

2019-04-19

Asp.NET MVC3.0 基础教程

MVC3.0 中文基础教程;案例很详细,初学者可以跟随一期开发案例。 值得推荐。

2012-02-08

完全手册:ASP.net Ajax电子教程(2)

学习ASp。NET,Ajax的很有帮助

2008-04-26

完全手册:ASP.net Ajax电子教程(1)

对学习ASp.NET Ajax的初学者或有一定开发经验的人员都有很大帮助!

2008-04-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除