杂项
文章平均质量分 71
不好归类的博文
shuxiaohua
这个作者很懒,什么都没留下…
展开
-
导出CSV后,时间字段无法自动识别-0xEF,0xBB,0xBF
背景项目组做csv导出时,发现有些行的日期字段没办法自动识别,如下图所示即使手工调整格式也不行后面写了一个测试代码,对比问题行的二进制,发现有问题的行比没有问题的行多了3个字节;-17,-69,-65,转换成16进制就是0xEF,0xBB,0xBF。(问题行日期字段里面的值因为多了这三个字节,不能很好的被识别成日期。)然后百度这三个字节,发现这个三个字节放在文件头可以解决csv中文乱码问题。0xEF,0xBB,0xBF在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPA原创 2022-03-12 16:33:16 · 1251 阅读 · 0 评论 -
java 组件升级经验总结
背景大型公司一般都会对开源软件的生命周期进行管理,产品中的开源软件随着时间的流逝,会不断的爆出漏洞;另外为了减少维护工作,公司会对软件版本做归一,老版本的开源软件在一段时间后也会被禁用。基于以上2点,产品中肯定会面临组件升级。升级是需要一定的经验的,不是野蛮升级然后测试兼容性,到时候蹦出一堆问题,难以招架。开源组件版本号解释最常见的命名规范:主版本号 . 子版本号 [. 修正版本号 [. 编译版本号 ]]主版本号:第一个数字,产品改动较大,可能无法向后兼容(要看具体项目)子版本号:第二个数字原创 2021-08-26 21:56:39 · 1233 阅读 · 0 评论 -
包管理工具修改默认安装路劲
这里写自定义目录标题maven修改默认的包安装路径配置文件路径配置项npm修改默认的包安装路径配置文件路径配置项maven修改默认的包安装路径配置文件路径{maven安装路劲}/conf/settings.xml配置项将localRepository配置项修改成想要存放的目录即可npm修改默认的包安装路径配置文件路径{UserHome}/.npmrc配置项prefix =D:\nodejs\node_globalcache = D:\nodejs\node_cache...原创 2020-11-13 15:37:42 · 153 阅读 · 0 评论 -
apache arrow 源码导入eclipse
前置条件jdk8maven3.6.3说明说明:arrow-format模块的代码时通过flatbuffers生成的,该工具只有linux版和mac版,所以arrow工程无法在windows上面直接编译,得在linux上面编译好,下载到本地后在导入eclipse。可以在arrow-format的pom.xml文件中看到flatbuffer工具下载的配置,该工具没有windows版本步骤先将代码传到linux上面进行编译cd javamvn install –DskipTests=tr原创 2020-10-24 11:10:49 · 311 阅读 · 0 评论 -
Selenium + chrome + BeautifulSoup进行网页爬虫
这里写自定义目录标题背景源码背景一般的网页和rest api是可以通过urllib进行爬取的,但是出现一下情况,urllib就无能为力了网页有反机器人机制,使用代码模拟浏览器行为非常麻烦要抓取的内容,是js实时渲染出来的为了模拟浏览器的行为进行网页爬取,需要Selenium:自动化工具,负责调用chrome driverchrome driver:无GUI,后台运行的chromeBeautifulSoup:Selenium的webdriver工具操作html页面时,功能不够强,Beau原创 2020-09-08 20:29:18 · 725 阅读 · 0 评论 -
linux环境各种工具代理设置集合
前言大公司内部的机器一般是不能直接访问外网的,所以需要配置代理。虽然公司会在内部创建镜像源,不用访问外网。但是有些系统或者代码的构建过程中,不会使用标准的下载方式,而是在脚本中自己去获取依赖,这样就得为其设置代理。不同的系统或工具没有统一的设置。linux系统代理export proxy=http://user:password@host:portexport http_proxy=$proxyexport https_proxy=$proxy适用于走系统代理的应用或工具,比如:yum,apt等原创 2020-08-11 14:44:10 · 1054 阅读 · 0 评论 -
各种工具配置忽略证书
前言目前很多系统或工具在运行的时候,都需要进行SSL通信。但是很多网站都是使用的自签名的证书,导致访问失败。有时候我们仅仅只需要屏蔽一下,下面是各种工具或者系统的设置方法。curl 忽略证书命令行配置:curl -k全局配置:echo insecure > ~/.curlrc因为curl可选参数很多,为了防止命令过长,curl会默认去~/.curlrc下面读取curl的全局参数设置......原创 2020-08-10 15:49:50 · 3594 阅读 · 0 评论 -
cmake gcov jenkins
概述cmake工程,在Jenkins上面集成gcov测试覆盖率报告依赖1.gcc(本人使用的是5.4版本)2.gcov3.gcovr(python版lcov)4.Jenkins5.Jenkins上安装Cobertura插件添加编译选项在入口CMakeLists.txt中添加如下编译选项SET(CMAKE_CXX_FLAGS “KaTeX parse error: Double subscript at position 63: …e")SET(CMAKE_C_̲FLAGS "{CMAK原创 2020-06-23 20:40:03 · 889 阅读 · 0 评论 -
tcpdump文件格式分析
tcpdump文件如下:package是tcpdump定义的数据帧,他在以太网报文的基础上添加了自己的头。以太网报文大小视实际的数据而定。注:以下截图来自https://wenku.baidu.com/view/b494e20616fc700abb68fcb6.htmltcpdump文件头的定义package头的定义以太网报文以太网报文根据不同的协议有不同的报文结构,这个得具体参考网络协议...原创 2020-06-22 16:39:18 · 1605 阅读 · 0 评论