笔记
半条小咸鱼
这个作者很懒,什么都没留下…
展开
-
Mac pycharm运行文件 左下角提示error=2, No such file or director
背景:系统:MAC系统问题:pycharm运行别人提供的python项目,项目中文件存在,却提示没有此文件具体错误:Error:Cannot run program “/Users/bob/PycharmProjects/untitled/venv/bin/python” (in directory “/Users/bob/Desktop/1”): error=2, No such file or director解决方案:删除项目下隐藏的.idea文件,重新启动pycharm,重新运行就好啦原创 2021-10-12 09:25:46 · 1742 阅读 · 2 评论 -
SpringBoot中自定义拦截器 (Token校验与放行、反馈前端)
简介后端框架:springboot数据库:clickhouse本系统是针对大数据进行分析的可视化系统,涉及到接口访问过程中token的校验与放行等问题,本文解决两个问题:1、token校验,具体思路为:如果接口不带token数据&该接口为登录接口,放行,将token和token过期时间存入数据库;如果接口不带token数据&该接口为登录接口,拦截,提示”未登录或token过期“如果接口带token数据,数据库中查询该token过期时间,如果当前系统时间没有超过token过期时原创 2021-07-10 19:44:16 · 2913 阅读 · 0 评论 -
spark jdbc读取并发度优化 GC overhead
背景spark 读取mysql数据库表中数据表,数据体量五百万条代码: String url = "jdbc:mysql://localhost:3306/demo?useSSL=true&characterEncoding=utf-8&serverTimezone=UTC"; // 查找的表名 String table = "test"; // mysql 增加数据库的用户名(user)密码(password),指定test数据库的驱动(driver) Proper原创 2021-06-30 22:29:37 · 585 阅读 · 2 评论 -
HBase 历史数据导入 时间戳设置问题
【问题描述】有一批历史数据需要导入HBase,在写HBase时 时间戳默认是系统当前时间,由于需要根据时间戳查询数据,所以需要将时间戳设置为数据产生时间,而不是当前时间。【解决方案】1、数据插入addColumn时,添加一列long类型的时间戳即可2、数据查询注意:这里的时间范围左闭右开...原创 2021-04-26 15:15:37 · 1509 阅读 · 0 评论 -
clickhouse建表语句
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Demo { public static void main(String[] args) { Connection connection = null; try { Class.f原创 2021-04-14 10:14:25 · 3138 阅读 · 0 评论 -
spark数据写入clickhouse mergeTree引擎 数据重复问题
最近在用clickhouse,用spark对数据分析完批量导入clickhouse之后发现数据被插入了很多遍,查找了很多资料,发现问题:1、表引擎应该采用ReplacingMergeTree2、需要手动进行merge,执行语句optimize table replacing_test;ReplacingMergeTree介绍数据去重原理ReplacingMergeTree通过ORDER BY,表示判断唯一约束的条件。当分区合并之时,根据ORDER BY排序后,相邻重复的数据会被排除原创 2021-04-14 10:09:15 · 1843 阅读 · 0 评论 -
命名体识别 python Stanford CoreNLP
简介StanfordCoreNLP 是斯坦福大学发布的 NLP 处理工具,StanfordCoreNLP 的源码使用 Java 编写,目前 Python 可以用两种方法进行调用,一种是使用 StanfordCoreNLP 库,是对 StanfordCoreNLP 进行了 Python 封装。而另一种方法是直接使用 Stanford 官方发布的 Python 版本 StanfordNLP。这里介绍第一种方式。Stanford CoreNLP安装方法(1)下载stanford CoreNLP 相关文件,需原创 2021-03-15 10:24:15 · 289 阅读 · 0 评论 -
Geomesa 无法根据空间和时间范围进行结果查询
参考文档:http://www.likecs.com/show-25072.html问题描述自己写的Java客户端代码,利用Geomesa服务提供的filter根据空间范围BBox和时间范围进行During查不到结果解决方案原创 2020-08-13 16:59:12 · 292 阅读 · 0 评论