研发
zhaobingkun
技术管理、研发
展开
-
pytorch离线安装
windows下离线安装pytorch原创 2023-02-16 10:27:45 · 1330 阅读 · 1 评论 -
手动将jar加入到maven仓库
手动将jar加入到maven仓库原创 2022-11-14 13:36:52 · 1927 阅读 · 0 评论 -
关于clickhouse在insert时报SQLFeatureNotSupportedException的解决办法
clickhouse在insert时报SQLFeatureNotSupportedException的解决办法原创 2022-11-04 11:26:42 · 1133 阅读 · 5 评论 -
离线打包maven设置
离线打包maven设置原创 2022-08-17 09:55:39 · 1255 阅读 · 0 评论 -
用flink cdc sqlserver 将数据实时同步到clickhouse
flink cdc 终于支持 sqlserver 了。现在互联网公司用sqlserver的不多,大部分都是一些国企的老旧系统。我们以前同步数据,都是用datax,但是不能实时同步数据。现在有了flinkcdc,可以实现实时同步了。1、首先sqlserver版本:要求sqlserver版本为14及以上,也就是SQL Server 2017 版。2、sqlserver开启cdc,具体细节可以百度,有一点要注意,必须启动SQL Server 代理服务。3、需要实现一个json解析方法,用于将同原创 2022-04-15 09:34:12 · 7530 阅读 · 7 评论 -
Pytorch版YOLOv4环境安装
一、环境描述:1、pytorche版本: 19+cpu2、python版本:3.83、操作系统 win104、显卡,主板集成显卡二、配置运行环境1、代码地址:GitHub:https://github.com/argusswift/YOLOv4-pytorch2、权重文件下载YOLOv4:百度云盘,提取码 args MobileNet v2:百度云盘,提取码 args MobileNet v3:百度云盘,提取码 args3、数据集下载Pascal ...原创 2021-11-19 14:06:17 · 2844 阅读 · 1 评论 -
selenium显示等待WebDriverWait的使用
WebDriverWait(显示等待)(推荐使用)from selenium.webdriver.support.wait import WebDriverWait参数driver: 传入WebDriver实例,即我们上例中的drivertimeout: 超时时间,等待的最长时间poll_frequency: 调用until或until_not中的方法的间隔时间,默认是0.5秒ignored_exceptions: 忽略的异常,如果在调用until或until_not的过程中抛出这个元组中的转载 2021-11-12 10:52:23 · 3825 阅读 · 2 评论 -
python打包成exe可执行程序
最近给兄弟部门做了个小爬虫,使用频率不高,大概一个月就用几次。他们都是小白,于是把用python写好的爬虫,打包成exe文件,copy过去直接用。主要是用Pyinstaller来实现的。首先我们要先安装Pyinstaller,直接在cmd使用pip命令pipinstallpyinstaller执行命令Pyinstaller -F -w -i chengzi.ico py_word.py,执行过程特别漫长。生成了一个名为py_word的exe应用程序,给大家解释一下其中Py...原创 2021-11-02 08:41:45 · 201 阅读 · 0 评论 -
安装zookeeper大坑记录
常规打法,关防火墙,关selinux注意一:启动之前关闭防火墙或者配置安全组策略关闭 systemctl status firewalld.service停止防火墙命令 systemctl stop firewalld开机禁止启动命令 systemctl disable firewalld注意二:集群中的selinuxgetenforce: disabled : 已经关闭setenforce 0 临时关闭vim /etc/selinux/config 改为disabled原创 2021-04-01 10:45:01 · 339 阅读 · 0 评论 -
Java单例模式双重检查锁定
首先要说的是,个人推荐使用饿汉模式和静态内部类方式实现单例模式。其实,静态内部类里也是一个饿汉模式。懒汉模式中,双重检查锁定代码如下:public class Singleton{ // 静态属性,volatile保证可见性和禁止指令重排序 private volatile static Singleton instance = null; // 私有化构造器...转载 2020-04-05 09:14:34 · 325 阅读 · 0 评论 -
nutch1.12抓取页面不全的排查
最近做网站抓取业务,使用的是nutch1.12,把解决问题的经验记录一下,方便遇到相同问题的小伙伴参考。我要抓取的网站,产品很多,我配置的抓取层数应该足够多。但是每次抓取到的产品详情都很少。下面写一下排查历程1、首先想到的是robots.txt禁止抓取,nuthc的代码是遵循rotot规则的,从源码里找到robot规则那段代码,直接注释掉(对不起被爬的网站),问题依然存在2、怀疑是re原创 2016-09-08 13:52:38 · 1136 阅读 · 0 评论 -
javaAPI连接Elasticsearch
代码public class ESTransportClient implements FactoryBean, InitializingBean, DisposableBean {private static final Logger logger = LoggerFactory.getLogger(ESTransportClient.class);private String cluster原创 2017-03-03 14:39:28 · 1659 阅读 · 0 评论 -
spring3.0定时任务
定时任务网上能找到一大把,这里只记录一下,方便自己查阅。1、spring配置文件 //定时任务类 //定时执行方法 2、定时任务类方法 public void getClassSms() { String checkDate= "2016-09-10"; S原创 2017-02-27 12:17:19 · 434 阅读 · 0 评论 -
elasticsearch5.2搜索结果排序
elasticsearch搜索会根据对搜索词的命中率计算一个scrot的值,可以根据这个值进行排序。但是有的时候我们需要将标题之类重要字段的命中的记录排到前面,这里就可以灵活的给某一个字段加权,使这种记录尽量排到前面。1、直接对某一字段加权或降权 QueryStringQueryBuilder q = QueryBuilders.queryStringQuery(qStr)原创 2017-02-23 11:34:58 · 2825 阅读 · 1 评论 -
Jenkins清除老的jar包
Jenkins安装在linux上,maven工程运行过程中,若引用的jar更新到新的版本,Jenkins构建过程中会先从本地找jar包(这些jar包是以前下载的老的),本地找到jar包后则不会自动下载新的,这时构建maven项目会报错找不到新增的类和方法。解决办法:手动删除老的jar包,让jenkins自动下载新的jar包。maven工程默认下载jar包的路径:/var/lib/jenki转载 2017-02-09 16:04:57 · 6275 阅读 · 0 评论 -
HTTP Header 详解
HTTP(HyperText Transfer Protocol)即超文本传输协议,所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。HTTP协议采用了请求/响应模型,浏览器或其他客户端发出请求,服务器给与响应。HTTP header 大体分为Request和Response两部分。Requests部分Header转载 2017-03-02 14:53:15 · 490 阅读 · 0 评论 -
Elasticsearch自定排序插件实现
Elasticsearch自定排序插件实现作者: admin 分类: java, 搜索 发布时间: 2015-10-15 14:10 ė 6评论关闭前一篇文章讲到了ES中使用Native Script实现自定义排序的一种方式,那种方式需要修改配置文件和设置jar包的位置,部署起来比较麻烦,本文将介绍另一方式–以插件的形式实现Elasticsearch自定义排序。整个插件转载 2017-02-28 10:38:37 · 3490 阅读 · 0 评论 -
Elasticsearch用java api 创建mapping
Client client = TransportClient.builder().build() .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300)); //建立链接 client.admin().indi原创 2016-12-09 11:56:38 · 9585 阅读 · 0 评论 -
elasticsearch5.2安装
1、下载elasticsearch-5.2.0.rpmrpm -i 安装安装后各个目录说明#/etc/sysconfig/elasticsearch 配置elasticsearch环境变量 #/etc/elasticsearch/elasticsearch.yml 配置elasticsearch集群#/etc/elasticsearch/jvm.o原创 2017-02-08 11:23:35 · 15524 阅读 · 4 评论 -
dubbo rpc服务使用
1、用maven命令编译dubbo-master项目,注意,一定要用jdk7,jdk8会报错,错误如下:org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'productionModeSensiblePostProcessor': Cannot create inner原创 2017-04-18 17:59:45 · 1137 阅读 · 0 评论 -
使用HttpClient实现文件的上传
public void upload(String localFile){ CloseableHttpClient httpClient = null; CloseableHttpResponse response = null; try { httpClient = HttpClients.createDefault转载 2017-04-20 18:35:26 · 918 阅读 · 0 评论 -
分布式系统中 Unique ID 的生成方法
本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID一, 问题描述在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现.但在一个存转载 2017-08-17 11:22:39 · 425 阅读 · 0 评论 -
java实现html转pdf功能
公司项目需要一个html订单页面转pdf的功能。用了jsPDF,效果不是很理想,对中文支持也不好。还有人说用h5来做,可是项目组目前没有写过h5的人,现学肯定来不及。后来突然发现了这么一个软件。wkhtmltopdf.下载地址:http://wkhtmltopdf.org/downloads.html,这是一个应用程序,有多种操作系统版本,没有开放的api。需要用java的exec来运行。不是原创 2015-12-17 10:28:37 · 1950 阅读 · 0 评论 -
在Mac OS X 上安装TensorFlow本地编程练习环境
1、练习下载地址https://developers.google.cn/machine-learning/crash-course/running-exercises-locally#download- 2、环境安装,我是用的python 2.7 问题较多,用python 3.3会顺畅一些。1)如果尚未安装 XCode,请通过运行以下命令安装 XCode(此操作需要一段时间):...原创 2018-12-23 10:26:03 · 507 阅读 · 0 评论 -
mac下安装带GUI的octave
octave是吴恩达强烈推荐的算法开发工具。在mac下安装的时候,图形界面费了好大劲儿,现在整理一下安装步骤。1、安装xcode-selectxcode-select --install2、安装homebrew curl -LsSf http://github.com/mxcl/homebrew/tarball/master | sudo tar xvz -C/usr/loca...原创 2018-09-30 13:51:45 · 6479 阅读 · 11 评论 -
数据科学家基础能力之概率统计
学习人工智能的工程师,甚至是在人工智能相关领域从业的数据科学家,往往都不重视概率统计知识的学习和培养。有人认为概率统计知识已经过时了,现在是拥抱复杂的机器学习模型的时候了。实际上,概率统计知识和数据科学家的日常工作,以及一个人工智能项目的正常运作都密切相关,概率统计知识正在人工智能中发挥着越来越重要的作用。和机器学习一样,概率统计各个领域的知识以及研究成果浩如烟海。今天我就和你聊一聊,如何从这...转载 2018-09-29 11:14:03 · 399 阅读 · 0 评论 -
FindBugs:简介与使用
前言FindBugs是一个帮助项目发现Bug的静态分析工具,因为FindBugs分析报告都为英文,而且只有这个问题的描述,所以接下来将会通过多篇文章以Bad Practice、Correctness、Style等FindBugs错误类型为分类进行整理,每篇文章会对每个出现的问题尽量按照以下的方式给出详细的说明问题描述的翻译 为什么会产生这个问题 怎么解决这个问题由于个人遇到的错误类型...转载 2018-07-19 10:05:49 · 515 阅读 · 0 评论 -
linux中crontab命令启动/重启/停止详解
linux中crontab命令启动/重启/停止详解linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond 是linux转载 2018-01-27 15:17:20 · 30873 阅读 · 0 评论 -
吞吐量(Throughput)、QPS、并发数、响应时间(RT)对系统性能的影响
首先对吞吐量()、QPS、并发数、响应时间(RT)几个概念一直比较模糊,也不知道哪些指标可以较好的衡量系统的性能。今天特意查了些资料做一些记录:首先看一些概念(来自百度百科) 1. 响应时间(RT) 响应时间是指系统对请求作出响应的时间。直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能,而不同功能的处转载 2018-01-24 13:36:27 · 600 阅读 · 0 评论 -
springcloud学习(二)
springCloud,就是对多个springboot的整合。链接个别人的例子吧。https://github.com/JeffLi1993/springcloud-learning-example这里都写的很清楚。集群案例里,用两个eurekaServer互相监控原创 2018-01-03 09:56:02 · 317 阅读 · 0 评论 -
java定时任务
//记录一下 ,这是每三个小时触发一次的一个定时任务。 TimerTask task = new TimerTask() { @Override public void run() { // task to run goes here logger.i原创 2017-11-15 14:17:53 · 306 阅读 · 0 评论 -
springcloud学习(一)
之前用dubbo,新项目需要用到spring cloud,学习一下,在这里简单的做个记录。其实不论是doubbo,doubbox和spring cloud,都是对服务的一个治理方案,用哪个都可以。只是根据项目的具体情况来选择。spring cloud包含一大推子项目。Spring Cloud Config: 配置管理工具, 支持使用Git存储 配置内容, 可以使用它实现应用配置的外部原创 2017-12-20 13:45:43 · 620 阅读 · 0 评论 -
robots.txt写法大全
robots.txt写法大全和robots.txt语法的作用1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。robots.txt写法如下:User-agent: *Disallow:或者User-agent: *Allow: /2如果我们禁止所有搜索引擎访问网站的所有部分转载 2016-09-05 10:47:53 · 644 阅读 · 0 评论 -
nutch的抓取目录解释
转载自:http://blog.csdn.net/javaman_chen/article/details/71800761、Apache Nutch Apache Nutch是一个用于网络搜索的开源框架,它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetc转载 2016-08-23 12:34:12 · 316 阅读 · 0 评论 -
mysql limit查询优化
MYSQL的优化是非常重要的。其他最常用也最需要优化的就是limit。mysql的limit给分页带来了极大的方便,但数据量一大的时候,limit的性能就急剧下降。同样是取10条数据select * from yanxue8_visit limit 10000,10 和select * from yanxue8_visit limit 0,10就不是一个数量级别的。转载 2016-01-26 16:41:25 · 269 阅读 · 0 评论 -
Java内存分配和String类型的深度解析
一、引题在java语言的所有数据类型中,String类型是比较特殊的一种类型,同时也是面试的时候经常被问到的一个知识点,本文结合java内存分配深度分析关于String的许多令人迷惑的问题。下面是本文将要涉及到的一些问题,如果读者对这些问题都了如指掌,则可忽略此文。1、java内存具体指哪块内存?这块内存区域为什么要进行划分?是如何划分的?划分之后每块区域的作用是什么?如何设置各个转载 2016-01-26 13:23:39 · 401 阅读 · 0 评论 -
电商网站的初期技术选型
青岛海尔Jan给大家分享了一个失败案例的教训:没有准确估计实际业务量或者说就没有估计过,导致技术选型直接参考京东、淘宝一线大公司,实现较复杂,技术铺的也很大。(教训:技术够用就好,选型的目标是能够快速实现产品的迭代)因为缺少经验,前期业务没有明确的规划,技术选型也没有考虑高内聚、低耦合,导致系统之间依赖太强,导致现在想拆分很难。选择了一些较新的技术框架,过于依赖几位关键的技术牛转载 2016-01-26 10:54:21 · 659 阅读 · 0 评论 -
Java习惯用法总结
在Java编程中,有些知识 并不能仅通过语言规范或者标准API文档就能学到的。在本文中,我会尽量收集一些最常用的习惯用法,特别是很难猜到的用法。(Joshua Bloch的《Effective Java》对这个话题给出了更详尽的论述,可以从这本书里学习更多的用法。)我把本文的所有代码都放在公共场所里。你可以根据自己的喜好去复制和修改任意的代码片段,不需要任何的凭证。目录实现转载 2016-01-25 13:48:45 · 256 阅读 · 0 评论 -
如何统计Redis中各种数据的大小
如果 MySQL 数据库比较大的话,我们很容易就能查出是哪些表占用的空间;不过如果 Redis 内存比较大的话,我们就不太容易查出是哪些(种)键占用的空间了。 有一些工具能够提供必要的帮助,比如 redis-rdb-tools 可以直接分析 RDB 文件来生成报告,可惜它不能百分百实现我的需求,而我也不想在它的基础上二次开发。实际上开发一个专用工具非常简单,利用 SCAN 和 DEBU转载 2016-01-25 11:58:23 · 4054 阅读 · 0 评论 -
Java开发必会的Linux命令
作为一个Java开发人员,有些常用的Linux命令必须掌握。即时平时开发过程中不使用Linux(Unix)或者mac系统,也需要熟练掌握Linux命令。因为很多服务器上都是Linux系统。所以,要和服务器机器交互,就要通过shell命令。本文并不会对所有命令进行详细讲解,只给出常见用法和解释。具体用法可以使用--help查看帮助或者直接通过google搜索学习。1.查找文件转载 2016-01-07 16:38:01 · 321 阅读 · 0 评论