- 博客(18)
- 收藏
- 关注
RSS订阅原创 方向盘离手检测/方向盘HOD的实现
方向盘HOD离手检测，即Hands On/Off Detection。在汽车行业中，自动驾驶系统被分为L1至L4等级，每个等级对于检测驾驶员手握方向盘的状态有不同的要求。例如，从L3等级开始，系统需要能够通过识别和判断驾驶员手握方向盘的姿势来确定当前是主动驾驶还是自动驾驶状态。在实际应用中，系统会对驾驶员不同的握持方向盘的姿势进行识别和判定，并利用车载电子控制单元（ECU）中的一系列算法，向驾驶员发送提醒信号。
2023-07-09 22:30:25
1559
原创 在HDP上搭建Kylin报错 could not find or load main class .warehouse.tablespace.managed.hive
kylin
2022-03-08 13:51:19
1260
原创 flink程序打包，减小flink jar包大小的办法
通常flink程序依赖都比较大，导致每次打包程序到服务器运行或调试的时候都要把程序依赖的一堆依赖打进程序里然后上传运行。为了更方便的调试，我们需要把代码和依赖分离，具体做法如下在业务代码里的maven使用这种打包方式：<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-dependency-plugin&l
2022-01-11 10:06:17
2241
1
原创 ambari spark连接hive出现的问题和解决
1.使用spark连接hive时，数据目录总是spark的目录，而不是hive的元数据目录官网说的是需要把hive-site.xml还有hadoop和hdfs的核心配置拿到spark的conf下，经过测试，其实只需要把hive-site复制过去就可以。但是spark的conf下已经有了一个hive-site，经过比对，这两个hive-site的内容是不一样的，所以如果在这个时候运行sparksql的话，加载的是spark的warehouse。这个可以理解成spark的内置hive，必须要把这个内置的hi
2022-01-11 10:04:42
2191
原创 flink集群消费kerberos认证的kafka
首先用单机的java代码去消费kerberos认证的kafka，已经跑通，主要用到的几个文件如下所示：1.jaas文件2.krb5.conf3.keytab认证文件4.还需要提供principle，我的是kafka/[email protected]单机的先把程序跑通了以后，就开始进行flink的认证。首先需要修改flink配置文件flink-conf.yaml,修改这几项内容，然后把配置文件同步到整个集群，重启flink集群，内容如下..
2022-01-11 10:03:34
3526
原创 jdbc连接presto/trino，报错IllegalArgumentException: The datetime zone id ‘GMT+08:00‘ is not recognised
使用jdbc连接trino时遇到了一个报错：java.lang.IllegalArgumentException: The datetime zone id 'GMT+08:00' is not recognised官方github的issuesgei
2021-06-16 16:35:44
4562
原创 spark把kafka数据写到hive
写入分区表：准备工作：先建好分区表方法一：（使用dataframe）写数据到数据所在的位置，因为hive分区的本质就是分文件夹，先用spark把数据写到文件夹位置，然后执行sql添加分区1.写数据到文件夹//df为DataFrame df.write.mode(SaveMode.Overwrite).format("parquet") .partitionBy("day" , "dev_platform" ).save(outputPath)2.寻找刚刚数据新建的.
2021-06-05 14:18:51
3417
原创 spark写关系型数据库的连接connection问题
用spark在向关系型数据库写数据时，难免会遇到连接connection的问题。如果把创建connection写到创建sparkcontext那里，这样是只会在driver端能用这个connection，在其他excutor是用不了的。所以首先想到的是，RDD的操作是在每个excutor，那么就把创建connection放在RDD的操作里面，这样就能实现功能了。但是如果用上面那个方法，就会担心，每来一批数据是不是都要创建一次连接，然后就会考虑用spark的广播变量，但是经过我的测试，广播变量无法
2021-06-05 14:14:31
451
原创 sparkstreaming和sparksql整合时的问题
package com.liuxw.mainimport com.alibaba.fastjson.{JSON, JSONObject}import com.liuxw.bean.Carimport com.liuxw.kafka.MyKafkaUtilimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.spark.sql.{DataFrame, SparkSession}import org.apa
2021-06-05 14:13:46
276
原创 sparkRDD转DataFrame写hive的坑
在RDD使用schema和RDD的Row转成DataFrame再写到hive时，中间遇到一个坑，我的写入代码是这样// 创建schemaval schema: types.StructType = StructType( Seq( StructField("capture_time",IntegerType,true), StructField("color_id",IntegerType,true), StructField("locati...
2021-06-05 14:11:28
559
原创 zookeeper报错Have smaller server identifier, so dropping the connection
三台zookeeper，其中一台连接不上其他两台了，查看日志报错Have smaller server identifier, so dropping the connection: (2, 1)其他机器也报错连不上这个机器了，使用zkCli.sh无法连接成功该zk节点解决方案: 保持这台有问题zk的现状, 按myid从小到大依次重启其他的zk机器;原因: zk是需要集群中所有机器两两建立连接的, 其中配置中的3555端口是用来进行选举时机器直接建立通讯的端口, 大id的s..
2021-06-05 14:09:32
2760
原创 PyCharm无法创建py文件，报错Error parsing Velocity template: Lexical error: org.apache.velocity.runtime.parse
刚下载的pycharm，进行了一些配置后才开始创建helloword，可是创建py时报错，怎么都找不到原因，我估计只有我一个人会这么干，在网上怎么搜都没有搜到，卸载重装还是这个样子最后发现是我的在写创建文件自动生成签名的时候，只写了#，没有写具体内容，所以创建不了。把这个删掉就好了。...
2019-07-12 15:41:24
7981
14
原创 快速排序的最佳实践
def partition(A,p,r): # x为分割操作的哨兵 x = A[r] i = p-1 for j in range(p,r): if A[j] <= x: i = i+1 A[i],A[j] = A[j],A[i] A[r],A[i+1] = A[i+1],A[r] ...
2019-04-11 11:01:34
186
原创 斐波那契的优化
普通递归实现：def fib(N): if N == 0: return 1 if N == 1: return 1 if N > 1: return fib(N-1) + fib(N-2) import timet1 = time.time()print(fib(40))t2 = time.tim...
2019-04-10 18:57:17
1035
原创 JVM结构及各个组件原理
JVM结构及各个组件原理类装载器ClassLoader负责加载class文件，class文件在文件开头有特定的文件标示，将class文件字节码内容加载到内存中，并将这些内容转换成方法区中的运行时数据结构并且ClassLoader只负责class文件的加载，至于它是否可以运行，则由Execution Engine决定。具体类加载过程如图：类加载器分为两大类：（各自负责加载的类库在上...
2019-03-28 11:21:04
3883
原创 两个系统间用HttpUrlConnection传输数据
url是对方系统URL，param是json字符串方法体：private String sendPost(String url, String param) { PrintWriter out = null; BufferedReader in = null; String result = ""; try { ...
2018-10-10 15:49:41
1372
转载 XSSF实现Excel下拉和HSSF实现Excel下拉
HSSF：public class POI { public static void main(String [] args) { String [] list={"东软","华信","SAP","海辉"}; new POI().createListBox(list); return; } public void createListBo...
2018-06-05 15:25:50
6328
转载 【JAVA】使用javax.mail发送邮件
本文主要解决以下问题：1、如何用java实现邮件发送功能？2、如何发送给多个人、抄送给多个人？3、如何发送携带附件的邮件？开始说正文。首先，发送邮件肯定要有个发件人，所有要有发件人的用户名和密码；然后得有服务器给中转吧，不同的邮箱对应的服务器也不一样，所以有邮件服务器的概念；再然后就是邮件本身，要有主题、收件人、抄送、正文、附件等等。发件人的邮箱好说，随随便便就能申请到，可是邮件服务器呢？这里列出...
2018-05-26 09:51:58
68777
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人