- 博客(39)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 多边形外的点到多边形边界最近点的坐标
/ // 找到外部点到多边形边界最近的点。// // 定义多边形的坐标。// // 定义外部点的坐标。// // 输出结果。
2024-04-26 10:16:34
280
原创 压缩解压缩Util
import jodd.util.Base64;import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.nio.charset.Charset;import java.nio.charset.StandardCharsets;import java.util.zip.GZIPInputStream;import java.util.zip.GZIPOutputStream;...
2021-08-05 10:35:57
138
原创 ElasticSearch terms query 数据丢失问题
es版本"7.4.2"， 查询语句如下：{ "query": { "bool": { "must": [ { "terms": { "encounterId": [ "172761647127754753", "172527998759368705", "171972281530873856", "1714149
2021-08-04 17:49:12
934
原创 pandas_udf IllegalArgument
pyspark pandas_udf 样例报错样例代码df = spark.createDataFrame( [(1, 1.0), (1, 2.0), (2, 3.0), (2, 5.0), (2, 10.0)], ("id", "v")) @funs.pandas_udf("id long, v double", funs.PandasUDFType.GROUPED_MAP) # doctest: +SKIP def normalize(pdf):
2021-05-27 09:44:27
235
原创 pip ssl报错，但是--with-ssl重装没有生效
问题pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.在安装Python的时候 ./configure --prefix=**** --with-ssl分析–with-ssl 没有生效，考虑是本身系统缺少ssl组件解决安装 openssl openssl-develyum install openssl-devel ...
2020-09-21 15:11:46
1452
原创 Pyspark Python worker exited unexpectedly (crashed) java.io.EOFException
/Users/wuyumo/PycharmProjects/spark_study/venv/bin/python /Users/wuyumo/PycharmProjects/User-Profile-Spark/recommend_user_follow.py20/09/14 14:07:52 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classe
2020-09-14 14:57:51
4415
7
原创 非docker版jekins安装
安装git和java快速下载jenkins$ wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo$ vi /etc/yum.repos.d/jenkins.repo[jenkins]name=Jenkins-stablebaseurl=https://mirrors.huaweicloud.com/jenkins/redhat-stablegpgcheck=1~ .
2020-08-13 17:47:34
119
原创 flink 无法初始化主类 java.lang.NoClassDefFoundError
错误: 无法初始化主类 bases.DataSteamAPIExample原因: java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FilterFunction
2020-07-14 14:22:21
1566
原创 安装 homebrew报错
安装 homebrew报错/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)”curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused解决国内的镜像地址/bin/zsh -c “$(curl -fsSL https://gitee.com/cun
2020-07-13 11:03:26
171
原创 mongodb 删除一个字段
db.datacenter_news_profile0.update({ "phone_model": { "$exists": true }}, { "$unset": { "phone_model":null }}, { multi: true});
2020-06-30 17:03:45
760
原创 mac修改JDK
vi ~/.zshrcexport JAVA_14_HOME=/Library/Java/JavaVirtualMachines/jdk-14.jdk/Contents/Home export JAVA_8_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home export JAVA_HOME=$JAVA_8_HOME alias jdk8='export JAVA_HOME=$JAVA_8_HOME' alias j.
2020-06-09 15:16:00
166
原创 pyspark安装报错
pyspark安装报错ERROR: Command errored out with exit status 1: command: /Users/wuyumo/PycharmProjects/spark_study/venv/bin/python -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/ff/hz2prrxs1kv4h594pkwtjdr00000gn/T/pip-install
2020-06-03 14:50:44
1005
6
原创 Apache Kafka作为DStream数据源
Apache Kafka作为DStream数据源pyspark需要需要引入两个jar包，在venv/lib/python3.7/site-packages/pyspark/jars中引入 spark-streaming-kafka-assembly和 spark-streaming-kafka-0-8监听代码块import jsonimport sysfrom pyspark import SparkContextfrom pyspark.streaming import Streami
2020-06-03 14:49:49
199
原创 关于虚拟机网络问题
关于虚拟机网络问题1. CentOS7 的网络配置在/etc/sysconfig/network-scripts/ifcfg-en332. 重启网络 service network restart3. VMWare 虚拟机网络模式：桥接模式，直接将虚拟系统连接在外网上，网关要使用外网路由IP地址；NAT模式，将虚拟机与主机共同构成一个局域网，网关使用主机ip4. VMWare使
2018-01-31 15:46:56
161
转载 解决VMware Pro 14安装Linux镜像时黑屏问题
以管理员身份运行“命令提示符”—> 输入命令：netsh winsock reset —> 运行后重启电脑 —> Enjoy it!
2017-12-20 09:33:40
681
原创 Linux 学习点滴总结（补充）
1. 用户切换su -c<指令>或--command=<指令>：执行完指定的指令后，即恢复原来的身份； -l或——login：改变身份时，也同时变更工作目录，以及HOME,SHELL,USER,logname。此外，也会变更PATH变量；2. Ubuntu和Centos系统没有tree命令需要暗转Ubuntu：apt-get install treeCentOS：yum -y i
2017-11-23 11:47:42
182
原创 2017/11/16
1. 当从数据库中读取到某个JdbcType.DOUBLE类型的NULL数时，如果直接返回会得到0而不会得到NULL，这是因为实体类的封装类型有误，应该用Double类型或者String类型去封装2. 一个外链接SQL的学习SELECT DISTINCT *FROM ( SELECT commodity.store_code AS store
2017-11-16 15:20:21
190
原创 Linux Log相关命令
1. 直接跟踪日志尾部 tail -f2. 编辑与查找2.1 vi 编辑模式2.2 （编辑模式下）/关键词+回车 查找关键词，n下一处，shift+n上一处2.3 （编辑模式下）修改文件之后esc退出编辑，：w保存修改2.4 （编辑模式下）：q!强制退出
2017-11-10 11:28:13
246
原创 2017/11/9
1. 注释某一步的时候在方法里面注释掉，不要在调用这个方法的时候，这样会导致有的调用的地方没有注释掉有的有的注释掉了，例如签名校验这一步，而且在后期部署生产的时候要一个一个修改，会造成麻烦2. 要关注他人代码对数据的修改，避免重复修改3. 近期项目中签名校验用封装好的SignUtils.checksign（）
2017-11-09 11:35:38
109
原创 2017/11/07
1. 在方法调用传参的时候最好少用第三方封装的数据类型，这样会加大耦合度，造成污染2. 数据库在处理TIMESTAMP类型的数据的时候Mybatis可以直接传String类型，并且这样的String可以很灵活，不一定要“—”作为分隔符，甚至可以没有分隔符3. 在做测试的时候记着把数据库中的密码换成加密后的，数据库不存储明文密码，不更换的话会报出类似DES padding 这样奇怪的异常不好排错
2017-11-07 14:59:52
131
原创 2017/11/3
Mybatis注解映射注意 1. SELECT所有的结果要放在@resaults里面 2. SQL中#{storeCode,jdbcType=VARCHAR}与@Result(column=”state”, property=”state”, jdbcType=JdbcType.CHAR) jdbcType的书写方式不同
2017-11-03 10:58:32
107
原创 2017/10/27
1. org.apache.ibatis.binding.BindingException今天我遇到了这个异常，当时是mybatis多个参数，但是没有使用@Param导致参数绑定异常 2. mysql中limit 1可以返回查询结果的第一条数据例如下面这条语句可以返回查询sometable表按照someno倒叙的第一条数据，也就是sometable表中someno最大的那条数据select * f
2017-10-27 16:41:33
131
原创 Git的使用
1. 安装GitHubDesktop,Git命令行2. 找到项目路径鼠标右键，Git gui here-Clone Existing Repository Source Location:账号:密码@url Target Directory:自定义本地项目名3. Eclipse中import-project-maven project 将刚刚从Git上Clone的项目加载到Eclipse
2017-10-27 09:52:11
810
原创 Redis命令学习
1. FLUSHALL用于清空整个 Redis 服务器的数据(删除所有数据库的所有 key )。2. FLUSHDB删除当前数据库所有的key3. EXPIRE key seconds为给定 key 设置生存时间，当 key 过期时(生存时间为 0 )，它会被自动删除。
2017-10-27 08:44:40
181
原创 Linux通过监听的端口管理进程
我在开启某个模块的时候发现端口被占用，这个时候在Linux中需要查看系统所有正在监听的端口 Linux查看端口情况的命令netstat -anpLocal Address为端口号，PID为进程号，Program name为进程名 之后我通过端口号找到对应的进程号并查看进程名，发现这个进程是我昨天开启的，现在可以关闭。通过PID关闭进程命令kill -9 $PID$PID为要杀死的进程
2017-10-26 08:33:57
857
原创 Navicat新建并运行存储过程
新建存储过程 选择新建函数 选择过程 打开函数想到，选择入参出参 其中模式可以选择IN/OUT/INOUT，名表示入参或者出参名，类型为入参或者出参所对应的类型。 这里设置两个参数，一个入参n，一个出参result，这个存储过程计算result=1+…+n 在BEGIN…END之间写入存储过程逻辑，本例中如下图 这个时候Navi
2017-10-25 17:24:24
18985
1
原创 Mysql存储过程以及触发器
1. Mysql简单存储过程 Mysql的存储过程是一个由一组SQL语句构成的脚本，能够实现简单的逻辑功能，但是用在分层的框架中不是很好，一旦更换数据库这个脚本结构要重写。存储过程区别去触发器，是主动调用的。 存储过程可以有输入输出参数，可以申明变量，可以使用简单的if/else,case,while 等简单的控制语句，可以实现复杂的逻辑过程。 存储过程只需要首次运行时编译，之后调用
2017-10-24 15:37:57
328
原创 2017/10/24
1. 仔细检查最后返回的JSON结果是否正确2. Mysql中可以用DATE（）函数去格式化日期3. 如果返回的JSON结果中丢失了一些数据要看看是不是需要外关联，是不是JSON结果自动屏蔽了为空的结果，如果屏蔽了空的结果需要写为空串返回。
2017-10-24 11:30:30
170
原创 部署到服务器上以及持续监听
1. 右击pom.xml->run as->maven install，这个时候不成功很有可能是相关依赖的模块没有构建，首相将他们用本步骤构建。2. 在target下生成构建的*.jar文件，将这个文件拷贝。3. 通过Xshell的文件传输功能将文件拷贝到指定目录（可能涉及覆盖）4. 拷贝完成后， 在命令行 sstop 服务器名，去关闭服务器5. ssbot 服务器名，去开启服务器6. tail -
2017-10-23 16:04:54
630
原创 2017/10/23
1. 自己打的桩要记着删除2. 为了让编译通过的return null记得回来修改mysql中date_format(trans.etime,’%Y-%m-%d 00:00:00’)用来进行格式转换。
2017-10-23 15:26:18
116
原创 解决Maven update project之后版本问题
在J2EE项目中，Maven update project之后如果依赖中有需要JDK1.6以上的jar包就会报错，这是由于Maven update project之后自动位置了版本所造成了，这里可以在pom.xml中手动去设置Maven自动配置JDK版本：<build> <plugins> <plugin> <groupId>o
2017-10-12 13:57:28
1211
原创 一个简单的SpringBoot整合Mybatis项目
1. 构建基本SpringBoot依赖1.1 设置SpringBoot父依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version><
2017-10-11 13:42:38
669
原创 Spring Boot 学习笔记（三）
SpringBoot继承Mybatis1. 配置一个druid数据源直接配置写一个applicationx.yml的配置文件spring: datasource: name: test url: jdbc:mysql://192.168.16.137:3306/test username: root password:
2017-10-10 17:58:29
231
原创 Spring Boot学习笔记（二）
应用配置文件对于有前缀的属性配置，.yml要比.propertities好用my: servers: - dev.bar.com - foo.bar.com相当于my.servers[0]=dev.bar.commy.servers[1]=foo.bar.comspring会从classpath下的/config目录或者classpath的根目录查找appl
2017-10-10 16:41:07
175
原创 Spring Boot学习笔记（一）
一个简单的HelloWorld1. pom.xml 依赖文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem
2017-10-10 14:34:08
152
default.json
2020-08-13
spark-streaming-kafka-assembly_2.11-1.6.3.jar
2020-06-03
spark-streaming-kafka-0-8_2.11-2.4.5.jar
2020-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人