平时工作中的失误总结
WymerWu
这个作者很懒,什么都没留下…
展开
-
压缩解压缩Util
import jodd.util.Base64;import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.nio.charset.Charset;import java.nio.charset.StandardCharsets;import java.util.zip.GZIPInputStream;import java.util.zip.GZIPOutputStream;...原创 2021-08-05 10:35:57 · 164 阅读 · 0 评论 -
ElasticSearch terms query 数据丢失问题
es版本"7.4.2", 查询语句如下:{ "query": { "bool": { "must": [ { "terms": { "encounterId": [ "172761647127754753", "172527998759368705", "171972281530873856", "1714149原创 2021-08-04 17:49:12 · 986 阅读 · 0 评论 -
pip ssl报错,但是--with-ssl重装没有生效
问题pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.在安装Python的时候 ./configure --prefix=**** --with-ssl分析–with-ssl 没有生效,考虑是本身系统缺少ssl组件解决安装 openssl openssl-develyum install openssl-devel ...原创 2020-09-21 15:11:46 · 1500 阅读 · 0 评论 -
Pyspark Python worker exited unexpectedly (crashed) java.io.EOFException
/Users/wuyumo/PycharmProjects/spark_study/venv/bin/python /Users/wuyumo/PycharmProjects/User-Profile-Spark/recommend_user_follow.py20/09/14 14:07:52 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classe原创 2020-09-14 14:57:51 · 5082 阅读 · 7 评论 -
flink 无法初始化主类 java.lang.NoClassDefFoundError
错误: 无法初始化主类 bases.DataSteamAPIExample原因: java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FilterFunction原创 2020-07-14 14:22:21 · 1987 阅读 · 0 评论 -
安装 homebrew报错
安装 homebrew报错/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)”curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused解决国内的镜像地址/bin/zsh -c “$(curl -fsSL https://gitee.com/cun原创 2020-07-13 11:03:26 · 203 阅读 · 0 评论 -
mongodb 删除一个字段
db.datacenter_news_profile0.update({ "phone_model": { "$exists": true }}, { "$unset": { "phone_model":null }}, { multi: true});原创 2020-06-30 17:03:45 · 787 阅读 · 0 评论 -
pyspark安装报错
pyspark安装报错ERROR: Command errored out with exit status 1: command: /Users/wuyumo/PycharmProjects/spark_study/venv/bin/python -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/ff/hz2prrxs1kv4h594pkwtjdr00000gn/T/pip-install原创 2020-06-03 14:50:44 · 1084 阅读 · 6 评论 -
Apache Kafka作为DStream数据源
Apache Kafka作为DStream数据源pyspark需要需要引入两个jar包,在venv/lib/python3.7/site-packages/pyspark/jars中引入 spark-streaming-kafka-assembly和 spark-streaming-kafka-0-8监听代码块import jsonimport sysfrom pyspark import SparkContextfrom pyspark.streaming import Streami原创 2020-06-03 14:49:49 · 215 阅读 · 0 评论 -
2017/11/23
1. 对象的一个字符串类型的成员变量我们初始化的时候设成这个对象本身的JSON字符串,这导致了死循环原创 2017-11-23 11:49:10 · 147 阅读 · 0 评论 -
2017/11/16
1. 当从数据库中读取到某个JdbcType.DOUBLE类型的NULL数时,如果直接返回会得到0而不会得到NULL,这是因为实体类的封装类型有误,应该用Double类型或者String类型去封装2. 一个外链接SQL的学习SELECT DISTINCT *FROM ( SELECT commodity.store_code AS store原创 2017-11-16 15:20:21 · 224 阅读 · 0 评论 -
2017/11/3
Mybatis注解映射注意 1. SELECT所有的结果要放在@resaults里面 2. SQL中#{storeCode,jdbcType=VARCHAR}与@Result(column=”state”, property=”state”, jdbcType=JdbcType.CHAR) jdbcType的书写方式不同原创 2017-11-03 10:58:32 · 118 阅读 · 0 评论 -
2017/10/24
1. 仔细检查最后返回的JSON结果是否正确2. Mysql中可以用DATE()函数去格式化日期3. 如果返回的JSON结果中丢失了一些数据要看看是不是需要外关联,是不是JSON结果自动屏蔽了为空的结果,如果屏蔽了空的结果需要写为空串返回。原创 2017-10-24 11:30:30 · 182 阅读 · 0 评论 -
2017/11/9
1. 注释某一步的时候在方法里面注释掉,不要在调用这个方法的时候,这样会导致有的调用的地方没有注释掉有的有的注释掉了,例如签名校验这一步,而且在后期部署生产的时候要一个一个修改,会造成麻烦2. 要关注他人代码对数据的修改,避免重复修改3. 近期项目中签名校验用封装好的SignUtils.checksign()原创 2017-11-09 11:35:38 · 123 阅读 · 0 评论 -
2017/10/23
1. 自己打的桩要记着删除2. 为了让编译通过的return null记得回来修改mysql中date_format(trans.etime,’%Y-%m-%d 00:00:00’)用来进行格式转换。原创 2017-10-23 15:26:18 · 147 阅读 · 0 评论 -
2017/11/07
1. 在方法调用传参的时候最好少用第三方封装的数据类型,这样会加大耦合度,造成污染2. 数据库在处理TIMESTAMP类型的数据的时候Mybatis可以直接传String类型,并且这样的String可以很灵活,不一定要“—”作为分隔符,甚至可以没有分隔符3. 在做测试的时候记着把数据库中的密码换成加密后的,数据库不存储明文密码,不更换的话会报出类似DES padding 这样奇怪的异常不好排错原创 2017-11-07 14:59:52 · 143 阅读 · 0 评论 -
2017/10/27
1. org.apache.ibatis.binding.BindingException今天我遇到了这个异常,当时是mybatis多个参数,但是没有使用@Param导致参数绑定异常 2. mysql中limit 1可以返回查询结果的第一条数据例如下面这条语句可以返回查询sometable表按照someno倒叙的第一条数据,也就是sometable表中someno最大的那条数据select * f原创 2017-10-27 16:41:33 · 164 阅读 · 0 评论