自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(62)
  • 资源 (21)
  • 收藏
  • 关注

原创 Spark Structured Streaming+Kafka+Hbase Scala版-学习笔记

Spark Structured Streaming+Kafka+Hbase Scala版例子前言环境介绍目录第一章 环境搭建前言最新在写Spark中间遇到很多坑,在这里总结下来供后来人参考,主要是因为网上的例子真的太少了,而且写的不详细,下边是我集合自己环境以及业务的代码样例。这里只有代码没有环境搭建的内容。环境介绍开发工具IDEA集群环境CDP7.1.4,kafka和Hbase的对应版本后续会具体介绍语言Scala目录第一章 环境搭建IDEA开发Spark例子,Scala语言版环境搭建

2021-02-22 14:31:55 512 2

原创 从零搭建基于SpringCloudAlibaba技术栈的微服务架构

从零搭建基于SpringCloudAlibaba技术栈的微服务架构前言目录服务注册和发现前言最近在学习微服务相关的技术,选择拥抱阿里,而不是Spring Cloud原生,下边的所有内容将是我的一个学习笔记,我会对我用到的技术进行简单的说明,但是不会科普概念,会结合业务说明一下不同场景下的技术用法,可能会对一个技术在不同应用场景下做多个实验,最后欢迎指导和讨论。目录这是一个我学习的顺序服务注册和发现...

2020-08-28 15:37:32 1856 8

原创 Unity在Windows选项下没有Auto Streaming

方案 2: 手动添加 Package打开工程文件 Packages/manifest.json添加 “com.unity.autostreaming”: “0.1.0-preview.1”

2023-11-18 22:50:38 935

原创 Unity Addressables学习笔记(3)---加载远程场景Scenes

Game1Group就是我新创建的一个Group用来存放场景1的所有资源,分组的配置跟Remote一样,都是远程的,加载地址是我本地启动的web服务器地址,URL里WebGL那个目录也不是必须的,根据自己实际的来。我是在最开始的场景里图片1那个开始按钮上加了个点击事件去触发加载Game1这个场景的。下边是GameObject上随便绑定一个C#脚本再去创建一个对象。下边是场景1拖进去的一个对象。上边的图就是拖完的状态。

2023-06-03 10:50:42 1251

原创 Unity Addressables学习笔记---汇总

下边是我最近在学Addressables插件的一个总结,看了好多视频又实验了好多终于成功了,卡了我一个月的时间。所以写下来,毕竟不是专业干的,不记录一下过几天可能就忘了。本身是个Java程序员,自学Unity,记录一下,学习过程,欢迎讨论交流,一起学习。

2023-06-03 10:15:46 259 3

原创 Unity Addressables学习笔记(2)---创建远程服务器对象

list里就是我要加载对象的名字,根据上边截图我加载的是Layer 1和Layer 8。这3个文件就是我生成的3个,额其中一个应该是我下一个帖子里的,反正都拷贝过去就行了。

2023-06-03 10:08:50 434

原创 Unity Addressables学习笔记(1)---创建远程服务器加载资源

Bulid Path选择RemoteBuildPath,打包的文件会出现在ServerData文件夹里,这个文件夹在Unity里是加载不出来的,里边是对应的是你要打包的程序类型,我的是网页所以是WebGL.我的打包文件名是:remote_assets_all_9cd0b0249adf18fa843683539bbac8b9.bundle。之后我拷贝到了一个本地的服务器上,我用的Spring Boot,因为我本身是搞Java的。在Spring Boot的服务器端添加跨域白名单类。pom.xml依赖就一个。

2023-05-21 12:31:23 1686

原创 昨天晚上做梦,证明了平行宇宙不存在

记录一下省着以后忘了。

2023-04-22 12:55:38 136

原创 Unity3D子线程无法修改主线程对象状态

Unity Socket 线程冲突

2022-12-30 15:26:40 230

原创 Netty中ByteToMessageDecoder中的decode方法执行多次的问题及解决办法

Netty中ByteToMessageDecoder中的decode方法执行多次的问题

2022-07-29 15:12:45 1170

原创 Spark Structured Streaming HelloWorld

Spark Structured Streaming

2022-07-25 15:23:32 184

原创 Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化

场景HDFS上存储了大量的parquet文件,我需要抽取其中几个字段存储到HBASE里。中间出现了一个问题,应该是一次批量提交的数据量太多了,所以一致卡着,提示:INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table:网上没超导怎么解决,最后自己优化了一下代码解决了代码主函数:HBase2HDFSLocalTestimport org.apache.spark.sql.{DataFrame

2022-03-31 16:38:47 2197

原创 Unity il2cpp.exe 已停止工作 CLR20r3

Unity 3D 在Build的时候最后卡住了,弹出如下提示,打开下边的详情会发现错误名称是CLR20r3的错误。打开Unity最下边会发现如下错误日志:Failed running C:\Program Files\Unity\Editor\Data\il2cpp/build/il2cpp.exe --convert-to-cpp --emit-null-checks --enable-array-bounds-check --dotnetprofile="unityaot" --compile-c

2022-03-12 14:08:10 5783

原创 Java poi 生成PPT并插入Excel附件并以图片形式显示代-代码例子

Java poi 生成PPT并插入Excel附件并以图片形式显示代前言月报需求POI写法Maven依赖JAVA代码前言网上找的都不好使,没办法逼得我自己写了一个。还搜到个CSDN的贴子说不知道好不好使的一个帖子收费19.9,一生气我申请了一个9.9的,我这个保证好使的。月报需求我的原始需求是生成一个月报,里边是当月的统计图,图片是前台传过来的一张做好的统计图我直接插入PPT就行,但是统计图里的数据需要以EXCEL作为附件放到PPT了,研究了好久,网上例子基本用不了,最后自己研究的。网上有一个Free

2022-01-11 08:51:47 1572 4

原创 Linux SpringBoot启动加载不到dubbo接口类

启动一直加载不到类

2021-12-09 15:31:24 1168

原创 Dubbo2.7.8+Nacos @DubboService注解 和Spring Boot结合 遇坑

服务生产者注解是@DubboService在本地启动不报错,在服务器上启动报如下错误,最可气的是,报错之后NACOS上还提示服务注册成功了,在NOCOS的服务列表里找到有一个健康实例:java.lang.IllegalArgumentException: @Service interfaceClass() or interfaceName() or interface class must be present! at org.springframework.util.Assert.notNull(A

2021-11-01 10:56:49 1718

原创 Spring Cloud Alibaba 从零搭建(一) ---NACOS配置中心

@[TOC](Spring Cloud Alibaba 从零搭建(一) —NACOS配置中心)前言整体入口:https://blog.csdn.net/lwb314/article/details/108277732快速搭建构建工具地址:http://start.aliyun.com因为是从头开始搭建,所以我们要先做配置,只引入一个nacos configPOM.XML配置pom.xml是自动生成就可以这里贴出来如下:<?xml version="1.0" encoding=

2021-08-13 14:28:29 607

原创 Spring Cloud Alibaba + Dubbo2.7 + Nacos2.0 从零搭建(一)

@[TOC](Spring Cloud Alibaba + Dubbo2.7 + Nacos2.0 从零搭建(一))前言整体入口:https://blog.csdn.net/lwb314/article/details/108277732快速搭建构建工具地址:http://start.aliyun.com选最基本依赖代码把IDEA自动生成的代码删除,只留下启动类,我把修改bootstrap.properties文件格式改成了bootstrap.yml,代码修改如下:spring

2021-07-03 11:45:33 1039

原创 Spark structured streaming+kafka 数据输入与输出不相等

前言最新在写structured streaming的程序,发现kafka输入和输出的数据不成比例,正常如果你的group里只有一个消费者,那么应该输入和输出是相等的才对。但是我的生产者和消费者2边的数据不一样,如下图:我的2个 topic,test19和test20可以看到2个程序的输出数据基本是输入的10倍,这肯定有问题,因此我要做几个实验,来验证到底是哪里除了问题,争取解决此问题。实验1:实现过程:从kafka获取输入后直接输出到另外一个topic里:输入topic:test31,输出t

2021-04-02 15:15:30 325

原创 Spqrk-SQL DataFrame foreachPartition 丢失数据,代码不执行,究竟是什么神仙操作

发现了一个非常诡异的问题,正在解决当中,把诡异问题记录下来,有问题的是(代码一)示例,我的table.put(putList)这段代从效果上看没执行,从日志上我能看出来putList里的数据越来越多。putList.size()一直在增加但是我如果把val table: Table = HBaseConnectionManager.getConnection().getTable(TableName.valueOf(tableName))这个table的声明放在iterator.foreach的前.

2021-03-25 16:54:12 1195

原创 Windows操作系统下本地跑Spark常见问题总结

Windows操作系统下本地跑Spark常见问题总结前言前言Spark Structured Streaming+Kafka+Hbase Scala版教程,整体入口。

2021-02-22 16:16:33 656

原创 Maven工程对应相关依赖查询

Maven工程对应相关依赖查询前言正文前言Spark Structured Streaming+Kafka+Hbase Scala版例子,整体入口。正文这个其实很简单,但是我发现我手下的开发人员确实有不知道怎么查了,就简单介绍一下。我一般就是直接在这个网址查https://mvnrepository.com/最简单的办法就是百度搜你要的框架名+maven,一般前几个结果里就是这个网站。例如我现在要开发spark,那么我百度搜spark-sql maven,记得2个关键字中间带个空格.进去之

2021-02-22 16:03:59 470

原创 IDEA开发Spark+Mavan+Scala语言环境搭建

IDEA开发Spark+Mavan+Scala语言环境搭建前言正文前言Spark Structured Streaming+Kafka+Hbase Scala版例子,整体入口。正文我是要开发Spark程序,开发工具是IDEA;同时需要使用Maven构建项目,语言我准备用Scala;因为JAVA的SparkAPI实在是太难懂了。下载IDEA,JDK,SCALA不写了,太简单1.Mavan+Scala搭建,很多人用的是下图的方法,但是我发现不好,因为会引入很多我不想要的东西,因为我是从头搭建,所以我

2021-02-22 15:26:17 260

原创 CDP集群对应Kafka,Hbase版本号查询

IDEA开发Spark例子,Scala语言版前言前言Spark Structured Streaming+Kafka+Hbase Scala版例子,整体入口。

2021-02-22 14:29:21 625

原创 Nacos配置中心+Spring Boot整合例子

SpringBoot使用Nacos作为配置中心 测试及总结前言前言学习笔记目录汇总地址:https://blog.csdn.net/lwb314/article/details/108277732这里为什么是用Spring Boot整合而不是Spring Cloud 呢,因为从目录结构上这篇是介绍Nacos的,而不是介绍Spring Cloud的,所以只要使用最基础的Spring Boot就可以了,而且Spring Boot使用Nacos和Spring Cloud的组入方式也不一样。Spring C

2020-10-12 15:15:22 841

原创 SpringBoot使用Nacos作为配置中心 测试及总结

SpringBoot使用Nacos作为配置中心 测试及总结前言测试内容测试1:常量及功能开关代码及说明测试2:程序中已经使用配置进行了初始化的代码,例如:数据库连接池遇坑总结@NacosValue注解获取不到值前言学习笔记汇总地址:https://blog.csdn.net/lwb314/article/details/108277732Nacos作为配置中心后,我把配置分成3个等级,针对这3个等级进行测试,并给出测试结果。环境初始化,启动函数和配置都在上一篇博客里,这里就不再写一遍了上一篇地址

2020-09-04 14:47:09 5253

原创 SpringBoot使用Nacos作为配置中心 例子和总结

SpringBoot使用Nacos作为配置中心例子前言环境三级目录前言学习笔记汇总地址:https://blog.csdn.net/lwb314/article/details/108277732我发现我写的博客屁话有点多,不爱看的可以跳过前言。搭建好Nacos服务器之后,开始学习Nacos的第一个主要功能:配置中心。配置中心的作用就是替代项目的配置文件。这个时候就产生了几个问题:1.为什么要替换配置文件,我觉得所有技术都是为了解决实际工作中产生的痛点才产生的,那么配置中心解决的痛点是什么呢,

2020-08-31 14:41:55 20194

原创 Nacos1.3.2环境搭建

Nacos环境搭建前言下载地址安装启动前言微服务最基本的功能,个人理解就是一个进程提供服务,另外一个进程需要用这个服务,所以它去调用这个服务,微服务架构就是把这种调用管理起来,所以有了第一个要学习的结束,服务注册和发现服务。阿里提供的技术是nacos可以认为等同于Spring Cloud的eureca.我是在nacos官网https://nacos.io/直接学习的,因为有中文文档,所以很容易理解下载地址nacos文档里有个Nacos 快速开始,最下边有历史版本,我下的是编译版,不是源码,版本是我

2020-08-28 15:31:32 2515

原创 Spring Cloud Alibaba + Dubbo + Nacos 整合例子

Spring Cloud Alibaba + Dubbo + Nacos 整合例子前言注意事项代码快速搭建三级目录前言我一共搭建了3个环境。整体入口:https://blog.csdn.net/lwb314/article/details/108222433注意事项这次使用的依赖是spring-cloud-starter-dubbo,这个我在git上没搜到,最后我发现他是spring-cloud-alibaba下的,spring-cloud-starter下的子项目,maven仓库里也找了一会

2020-08-27 15:22:16 7937 5

原创 dubbo-spring-boot-starter+Nacos整合 例子

spring-boot-starter+Dubbo+Nacos整合 例子前言注意事项代码依赖pom.xml服务提供者代码-provider服务消费者代码-consumer前言我一共搭建了3个环境。整体入口:https://blog.csdn.net/lwb314/article/details/108222433注意事项这里先说几点我觉得需要注意得地方,然后再贴代码dubbo-spring-boot-starter这个出现过多个不同版本,你可以在maven仓库里找到好多名字是dubbo-sp

2020-08-26 14:25:13 3982 9

原创 Spring Boot/Cloud+Nacos+Dubbo 整合例子

Spring Boot+Nacos+Dubbo 整合例子前言环境搭建:这里一共总结3种整合方式第一种:Nacos+Spring Boot+Dubbo原生第二种:Nacos+dubbo-spring-boot-starter第三种:Nacos+spring-cloud-starter-dubbo前言最近在看nacos,spring cloud,dubbo这些微服务相关的东西,自己搭建了一套环境,自己写完再看网上的帖子有点愣逼了,居然还有各种不同的写法。所以我决定把3种方法都试一下,感受一下区别,也把坑都说

2020-08-26 09:30:28 2489 3

原创 Nacos+Spring Boot+Dubbo原生整合 例子

这种方式基本就是用nacos官网+dubbo官网,自己硬搭的一个,特别别扭。主要看的是下边2页Nacos官网的nacos-dubbohttps://nacos.io/zh-cn/docs/use-nacos-with-dubbo.htmldubbo官网的注解配置http://dubbo.apache.org/zh-cn/docs/user/configuration/annotation.html依赖如下:我是用的spring boot作为了spring 容器和服务监听,像nacos官网,那么

2020-08-26 09:13:52 1284 3

原创 从零搭建Docker&k8s环境及使用+理解

虽然对于网络来说是炒冷饭,但是我是第一次弄,毕竟网上总是找不到你想要的答案。╮(╯▽╰)╭第一步安装Linux CentOS 7,我是按这个帖子按的,很详细。只是帖子里按的是8我按的是7。...

2020-03-16 13:42:13 1687 6

原创 (java语言版) spark+hive+hbase 离线大数据分析统计及运行效率实验

1.初始化1000万条数据。作为数据集。我采用的方式是,先在hive中创建hbase表. 之后将数据写入到hbase里.hive创建与hbase的表关联参考我的这篇帖子https://blog.csdn.net/lwb314/article/details/803469932.只有进行查询,首先...

2020-03-10 09:29:29 541

原创 Python & Spark学习笔记系列 【第三章】例子:Python+Spark+Hbase

这里我的原始数据在Hbase里,以下会介绍两种方式可以通过Spark达到操作Hbase的效果。第一种:Spark直连HBase代码如下,但是这里我遇到了一个问题,就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable,我使用IDEA本地运行提示找不到这个类,报错是:java.lang.ClassNotFoundExcep...

2019-03-04 10:00:55 1006 5

原创 Python & Spark学习笔记系列 【第二章】例子:单词统计+文件存储

一般Spark上来好像都是单词统计,这里我也写一个,之后再带上点其他的函数,Spark和Python语法是真的难理解,这里我把我的理解都写在程序代码注解上了,直接上代码from pyspark import SparkContext, SparkConfimport os# 没有这句会报错os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_92'...

2019-02-22 10:14:06 609 1

原创 Python & Spark学习笔记系列 【第一章】环境搭建 pyspark安装

Python语言怎么安装这里就不写了,网上有好多,IDEA安装是我按的Python插件如下图:安装Python语言环境和插件以后,还要安装pyspark类库,因为默认Python是不带这些类库的。这里安装遇到一个小坑,简单说下。如果网络没问题的话可以直接cmd进入命令行,时候输入命令pip install pyspark,就可以安装了。但是默认是pyspark的latest版本...

2019-02-14 11:22:47 2112

原创 Python & Spark学习笔记系列---目录

作为一个Java程序员,到目前为基本不具备Python与Spark的经验。接下来会按学习步骤写下所有Python与Spark学习中遇到的坑。为什么选Python而不是Scala和Java,这里的原因是,Java的SparkAPI写法特别繁琐不好理解,Scala本身也没有经验。但是大数据分析后可能会继续学习机器学习人工智能相关的东西,现在最火的基本就是Python,因此学习Python,...

2019-02-14 10:44:03 326

原创 HDP2.4升级到HDP3.1遇到的各种坑

最近要把项目从HDP2.4.0 升级到HDP3.0.1 其中各种坑,这里记录一下.先列一下主要用到的技术与版本老环境 HDP-2.4.0HADOOP 2.7.1.2.4HBase 1.1.2.2.4Storm 0.10.0.2.4ZooKeeper 3.4.6.2.4Kafka 0.9.0.2.4新环境 HDP-3.0.1HADOOP 3.1.1HBase ...

2018-11-21 17:25:46 2696

原创 登山的感悟

周末公司组织团建,去爬山,爬山的时候想到一些问题,说出来看大家是怎么想的。第一个是问题,一般信佛的人都知道不能给佛像拍照,至少我们这边基本都是这么说的,但是有佛的时候还没有相机啊,那么是谁总结的佛像不能拍照?我觉得佛经上应该没写过吧,没相机之前古代人一般都是用画像来记录影像,古时候佛像画像还是很多的吧?为什么古时候可以画像,现代不能拍照呢?(第一个问题已经讨论最后普遍认为是出于信仰与敬畏)...

2018-09-10 12:49:18 5398 12

nacos-demo.zip

spring cloud+nacos+dubbo整合例子源码4个例子,里边还有一个spring cloud原生的openFegin例子,整个工程压缩的,用IDEA可以直接打开

2020-08-27

mfc110.zip

mfc110.dll

2020-03-17

Java 生成PDF工具类 免费版

Java 生成PDF工具类 itext-2.1.7,是免费最后一个版本,再之后的版本就收费了,Java生产PDF里一般都是用itext,接口方便易懂

2020-01-03

Oracle12C JDBC 驱动

Oracle12C 12.2.0.1 JDBC 驱动 Oracle Database 12c Release 2 (12.2.0.1) drivers

2018-05-22

OracleJDBC 12C 驱动

Oracle 12C 12.1.0.2 驱动 Oracle Database 12c Release 1 (12.1.0.2) drivers

2018-05-22

java 读写 hdfs文件系统例子(包括权限设置)

java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)

2018-04-10

Spark快速大数据分析.pdf

Spark快速大数据分析,Spark最好的一本书,高清版,包括spark streaming,spark sql

2018-02-23

Oracle JDBC7

摘要必须大于100个字节!摘要必须大于100个字节!摘要必须大于100个字节!摘要必须大于100个字节!摘要必须大于100个字节!摘要必须大于100个字节!

2017-09-12

Oracle JDBC 最新驱动

老的驱动在11G的某些版本以上会抛异常,需要更新驱动,附件驱动可以解决,并向下兼容.摘要必须大于100个字节!

2017-09-12

nexus-latest-bundle.tar.gz

nexus的Linux最新版maven服务器软件

2015-08-13

operamasks中文API

operamasks中文API是一个war包,只需要将它放入tomcat下的webapps下即可,API就是一个WEB项目,使用浏览器查看即可!

2014-04-02

javaWeb在线聊天室代码例子技术是简单的servlet

在线聊天,就是多人在线,一个人发消息其他人也能看见,而且不是AJAX一直刷后台,因为那样很占用服务器资源,这个例子的思想是使用长连接,只有当有人说话的时候才会返回。里边是个工程可以使用eclipse打开。通过这个代码可以扩展很多需要长连接才能实现的功能。

2013-10-18

jfreechartAPI帮助文档

jfreechart的API 帮助文档 ,使用手册

2012-07-26

blazeds.war

里边包含了flex 框架要用到的所有jar包以及所有配置文件,解压缩后复制到工程里即可。

2012-07-25

servlet.jar

servlet.jar包 servlet-api.jar

2012-07-19

中创软件笔试题+8套软件开发题

中创软件笔试题+8套软件开发题,里边有8套题目

2012-01-15

C#与flash通信例子

C#与flash通信例子,是工程,包括源代码及通信所需要的类库.

2011-12-31

Android中文版API

Android中文版API包括之前的版本

2011-02-10

flex做的工作流在线编辑器小例子

不包括工程,是我项目中的一个在线编辑器的源码,完全是我个人做的东西,可以扩展成工作流的在线编辑器,我目前只在里边提供了基本的功能,主要包括拖拽算法,删除,画带箭头的关系线,里边是一个mxml文件,一个后台的java文件,一个config.xml文件,有需要的人可以参考一下.基本架子已经全了只需要根据需求扩展带左侧的属性就行了,是一个MXLList也在代码里边

2011-01-17

java 操作word例子jocab包及配置说明

java 操作word例子jocab包及配置说明

2010-05-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除