- 博客(147)
- 收藏
- 关注
RSS订阅原创 关于clickhouse在insert时报SQLFeatureNotSupportedException的解决办法
clickhouse在insert时报SQLFeatureNotSupportedException的解决办法
2022-11-04 11:26:42
1309
5
原创 用flink cdc sqlserver 将数据实时同步到clickhouse
flink cdc 终于支持 sqlserver 了。现在互联网公司用sqlserver的不多，大部分都是一些国企的老旧系统。我们以前同步数据，都是用datax，但是不能实时同步数据。现在有了flinkcdc，可以实现实时同步了。1、首先sqlserver版本：要求sqlserver版本为14及以上，也就是SQL Server 2017 版。2、sqlserver开启cdc，具体细节可以百度，有一点要注意，必须启动SQL Server 代理服务。3、需要实现一个json解析方法，用于将同
2022-04-15 09:34:12
7892
7
原创 Pytorch版YOLOv4环境安装
一、环境描述：1、pytorche版本： 19+cpu2、python版本：3.83、操作系统 win104、显卡，主板集成显卡二、配置运行环境1、代码地址：GitHub：https://github.com/argusswift/YOLOv4-pytorch2、权重文件下载YOLOv4：百度云盘，提取码 args MobileNet v2：百度云盘，提取码 args MobileNet v3：百度云盘，提取码 args3、数据集下载Pascal ...
2021-11-19 14:06:17
2955
1
转载 selenium显示等待WebDriverWait的使用
WebDriverWait（显示等待）(推荐使用)from selenium.webdriver.support.wait import WebDriverWait参数driver: 传入WebDriver实例，即我们上例中的drivertimeout: 超时时间，等待的最长时间poll_frequency: 调用until或until_not中的方法的间隔时间，默认是0.5秒ignored_exceptions: 忽略的异常，如果在调用until或until_not的过程中抛出这个元组中的
2021-11-12 10:52:23
4046
2
原创 python打包成exe可执行程序
最近给兄弟部门做了个小爬虫，使用频率不高，大概一个月就用几次。他们都是小白，于是把用python写好的爬虫，打包成exe文件，copy过去直接用。主要是用Pyinstaller来实现的。首先我们要先安装Pyinstaller，直接在cmd使用pip命令pipinstallpyinstaller执行命令Pyinstaller -F -w -i chengzi.ico py_word.py，执行过程特别漫长。生成了一个名为py_word的exe应用程序，给大家解释一下其中Py...
2021-11-02 08:41:45
245
原创 postgresql安装文档
第一部分：安装进入网址：https://www.postgresql.org/download/linux/redhat/选项：1、Select version:132、Select platform:centos73、Select architecture:x86_64安装命令# Install the repository RPM:sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms
2021-10-21 11:30:48
322
原创 greenplum6.17安装文档
刚开始使用greenplum，这里做个笔记，便于查询。关键组件MasterGreenplum数据库的Master是整个Greenplum数据库系统的入口，它接受连接和SQL查询并且把工作分布到Segment实例上；Master上不包含任何用户数据，数据只存在于Segment之上；Master会认证客户端连接、处理到来的SQL命令、在Segment之间分布工作负载、协调每一个Segment返回的结果以及把最终结果呈现给客户端程序。收集 Segment 的执行结果SegmentGr
2021-10-20 10:14:40
416
转载 rpm方式安装 mysql5.7.29
一、rpm方式安装 mysql5.7.291.下载mysql5.7.29的rpm安装包 rpm的mysql包,安装起来简单,解压版的mysql还需要做许多配置，稍有不慎就会出错！！！下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads2.上传mysql安装包到centos7的系统下3.安装依赖3.1 查看linux上是否已经安装了mysql,有则卸载。一般centos7默认安装了mariadb...
2021-09-03 11:12:57
777
转载 ElasticSearch故障处理方案
1、java.io.IOException: failed to find metadata for existing index XXX 场景描述： 在节点启动的时候，有时会出现这类问题，导致节点重启失败。出现这种情况多是因为状态为Close的索引引起的 处理方法： 进入当前节点的data目录：/esdata/nodes/0/_state 将 manifest开头的文件 删除或重命名 再启动该节点就可以了，启动...
2021-08-10 11:30:51
2063
原创 安装zookeeper大坑记录
常规打法，关防火墙，关selinux注意一：启动之前关闭防火墙或者配置安全组策略关闭 systemctl status firewalld.service停止防火墙命令 systemctl stop firewalld开机禁止启动命令 systemctl disable firewalld注意二：集群中的selinuxgetenforce: disabled : 已经关闭setenforce 0 临时关闭vim /etc/selinux/config 改为disabled
2021-04-01 10:45:01
371
转载 dell台式机安装centos7网卡设置
最小安装完centos后一般默认只有有线网卡，wifi可以在安装的时候就连接上。所以，一般还要安装有线网卡驱动才能使用网线上网。使用命令lspci -nn | grep -i net查看需要安装的网卡驱动。 一般会提示找不到命令，执行yum install pciutils. 我这里输出的结果是：Intel I219-V 网卡驱动。接下来找到对应网卡驱动文件安装就可以了。 下载地址https://downloadcenter.intel.com/zh-cn/download/15817?_ga=1
2021-03-26 13:01:44
1649
转载 Windows文件换行符转Linux换行符
操作系统文件换行符 首先介绍下，在ASCII中存在这样两个字符CR（编码为13）和LF（编码为10），在编程中我们一般称其分别为'\r'和'\n'。他们被用来作为换行标志，但在不同系统中换行标志又不一样。下面是不同操作系统采用不同的换行符：Unix和类Unix（如Linux）：换行符采用\n Windows和MS-DOS：换行符采用\r\n Mac OS X之前的系统：换行符采用\r Mac OS X：换行符采用\nLinux中查看换行符 在Linux...
2021-02-08 10:54:00
2282
转载 CentOS7查看和关闭防火墙
CentOS 7.0默认使用的是firewall作为防火墙查看防火墙状态firewall-cmd --state停止firewallsystemctl stop firewalld.service禁止firewall开机启动systemctl disable firewalld.service 转自：CentOS 6和CentOS 7防火墙的关闭关闭selinux进入到/etc/selinux/config文件vi /etc/selinux/conf...
2020-07-10 16:07:25
173
转载 Java单例模式双重检查锁定
首先要说的是，个人推荐使用饿汉模式和静态内部类方式实现单例模式。其实，静态内部类里也是一个饿汉模式。懒汉模式中，双重检查锁定代码如下：public class Singleton{ // 静态属性，volatile保证可见性和禁止指令重排序 private volatile static Singleton instance = null; // 私有化构造器...
2020-04-05 09:14:34
354
原创 在Mac OS X 上安装TensorFlow本地编程练习环境
1、练习下载地址https://developers.google.cn/machine-learning/crash-course/running-exercises-locally#download- 2、环境安装，我是用的python 2.7 问题较多，用python 3.3会顺畅一些。1）如果尚未安装 XCode，请通过运行以下命令安装 XCode（此操作需要一段时间）：...
2018-12-23 10:26:03
539
原创 mac下安装带GUI的octave
octave是吴恩达强烈推荐的算法开发工具。在mac下安装的时候，图形界面费了好大劲儿，现在整理一下安装步骤。1、安装xcode-selectxcode-select --install2、安装homebrew curl -LsSf http://github.com/mxcl/homebrew/tarball/master | sudo tar xvz -C/usr/loca...
2018-09-30 13:51:45
6577
11
转载 数据科学家基础能力之概率统计
学习人工智能的工程师，甚至是在人工智能相关领域从业的数据科学家，往往都不重视概率统计知识的学习和培养。有人认为概率统计知识已经过时了，现在是拥抱复杂的机器学习模型的时候了。实际上，概率统计知识和数据科学家的日常工作，以及一个人工智能项目的正常运作都密切相关，概率统计知识正在人工智能中发挥着越来越重要的作用。和机器学习一样，概率统计各个领域的知识以及研究成果浩如烟海。今天我就和你聊一聊，如何从这...
2018-09-29 11:14:03
425
原创 如何提高技术团队的工作效率
现在带一个20人左右的技术团队，包括前端，App，后端java，运维，测试等必须的技术岗位，麻雀虽小，五脏俱全。如何提高工作效率是个问题。1、沟通，沟通很重要。产品和技术的沟通，和业务的沟通，前后台的沟通。项目工期紧的话，我会每天安排晨会，只需要与项目相关人员参加，大家站着说，每个人1-2分钟，前一天的工作结果和当天的内容快速过一下，如果有需要协调的问题，当时提出来，每天只需要15分钟左右的时...
2018-09-19 11:49:26
4895
原创 从零开始组建团队
一、组建团队的过程吧。组建团队，首先要根据项目，考虑开发语言，然后看业务的展示形态，和项目的大小。我这次组建了一个20人的团队。前端要求公众号，H5页面，App都要有，后端用java。当然，还要考虑成本。创业最大困难就是钱，没有钱，啥都白搭。除了要能赚钱，还要能省钱。1、人员配置：最好有1--2个高级技术人员，可以带人的那种，中级初级各半。我们团队有9个java。2个高级，3个中级，4个初级。...
2018-08-30 10:57:28
2856
原创 沟通？
我发现我的发展瓶颈，是和非技术人员的沟通障碍。沟通的时候也是可以正常交流的，但是见面前的心理压力有点大，总是有种不敢见面，不敢说话，甚至想要逃避的想法。对于一个管理岗位的人，这应该也算一个发展瓶颈吧。...
2018-08-07 11:13:23
221
原创 技术团队管理随笔
突然想写点什么，总之，乱七八糟的写点什么吧。 带团队这事，还是挺操心的。手下都是比我小10多岁的孩子。要对他们负责，也要对公司负责，对老板负责。有人也许会觉得累，但是对于我，反而很兴奋，不知道为什么，我媳妇说，我本来就是这样的人，喜欢担责任。 我经常跟他们说，在这干，除了工作，就是要好好学习，薪水给多少老板说了算，我的权利给不了你们额外的钱，但是我可以让你们增长...
2018-07-30 13:38:20
287
转载 FindBugs：简介与使用
前言FindBugs是一个帮助项目发现Bug的静态分析工具，因为FindBugs分析报告都为英文，而且只有这个问题的描述，所以接下来将会通过多篇文章以Bad Practice、Correctness、Style等FindBugs错误类型为分类进行整理，每篇文章会对每个出现的问题尽量按照以下的方式给出详细的说明问题描述的翻译 为什么会产生这个问题 怎么解决这个问题由于个人遇到的错误类型...
2018-07-19 10:05:49
581
转载 构建团队的研发哲学
今天来和大家分享一下自己这些年工作中思路，实际上，这些点也组成了现在我和团队一起工作的方法和思路，这就是我的研发哲学，希望对大家有所帮助。 凡是需要不断重复的事情，要将其自动化，通过工具解决问题。 制造什么样的工具 ？答案是： 提高开发效率的 ， 提高系统可伸缩和可靠性的， 不同业务线可复用的。 方法是： 找到技...
2018-07-18 14:57:45
266
转载 MySQL，如何修改root帐户密码、如何解决root帐户忘记密码的问题
1. 如何修改root帐户密码打开MySQL 5.6 Command Line Client窗口，输入当前密码登录，然后依次输入如下3条命令：use mysql;update user set password=password('yourpass') where user='root';flush privileges;示范：mysql> use mysql;Database chang...
2018-02-23 16:09:21
394
转载 linux中crontab命令启动/重启/停止详解
linux中crontab命令启动/重启/停止详解linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond 是linux
2018-01-27 15:17:20
32954
转载 吞吐量（Throughput）、QPS、并发数、响应时间（RT）对系统性能的影响
首先对吞吐量（）、QPS、并发数、响应时间（RT）几个概念一直比较模糊，也不知道哪些指标可以较好的衡量系统的性能。今天特意查了些资料做一些记录：首先看一些概念（来自百度百科） 1. 响应时间(RT) 响应时间是指系统对请求作出响应的时间。直观上看，这个指标与人对软件性能的主观感受是非常一致的，因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能，而不同功能的处
2018-01-24 13:36:27
632
原创 springcloud学习（二）
springCloud，就是对多个springboot的整合。链接个别人的例子吧。https://github.com/JeffLi1993/springcloud-learning-example这里都写的很清楚。集群案例里，用两个eurekaServer互相监控
2018-01-03 09:56:02
336
原创 springcloud学习（一）
之前用dubbo，新项目需要用到spring cloud，学习一下，在这里简单的做个记录。其实不论是doubbo，doubbox和spring cloud，都是对服务的一个治理方案，用哪个都可以。只是根据项目的具体情况来选择。spring cloud包含一大推子项目。Spring Cloud Config: 配置管理工具， 支持使用Git存储 配置内容， 可以使用它实现应用配置的外部
2017-12-20 13:45:43
654
原创 java定时任务
//记录一下 ，这是每三个小时触发一次的一个定时任务。 TimerTask task = new TimerTask() { @Override public void run() { // task to run goes here logger.i
2017-11-15 14:17:53
327
转载 分布式系统中 Unique ID 的生成方法
本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID一, 问题描述在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现.但在一个存
2017-08-17 11:22:39
458
转载 使用HttpClient实现文件的上传
public void upload(String localFile){ CloseableHttpClient httpClient = null; CloseableHttpResponse response = null; try { httpClient = HttpClients.createDefault
2017-04-20 18:35:26
972
原创 dubbo rpc服务使用
1、用maven命令编译dubbo-master项目，注意，一定要用jdk7，jdk8会报错，错误如下：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'productionModeSensiblePostProcessor': Cannot create inner
2017-04-18 17:59:45
1169
原创 javaAPI连接Elasticsearch
代码public class ESTransportClient implements FactoryBean, InitializingBean, DisposableBean {private static final Logger logger = LoggerFactory.getLogger(ESTransportClient.class);private String cluster
2017-03-03 14:39:28
1692
转载 HTTP Header 详解
HTTP（HyperText Transfer Protocol）即超文本传输协议，所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应。HTTP header 大体分为Request和Response两部分。Requests部分Header
2017-03-02 14:53:15
520
转载 Elasticsearch自定排序插件实现
Elasticsearch自定排序插件实现作者: admin 分类: java, 搜索 发布时间: 2015-10-15 14:10 ė 6评论关闭前一篇文章讲到了ES中使用Native Script实现自定义排序的一种方式，那种方式需要修改配置文件和设置jar包的位置，部署起来比较麻烦，本文将介绍另一方式–以插件的形式实现Elasticsearch自定义排序。整个插件
2017-02-28 10:38:37
3538
转载 CentOS安装nmap端口查看工具
转自：http://www.osyunwei.com/archives/2004.htmlnmap即（Network Mapper），是linux系统中一个常用的网络管理工具，可以扫描端口、嗅探主机所在的网络环境，以及判断网络中主机的操作系统等。下面教大家在CentOS中用nmap查看主机端口：一、安装nmapyum install nmap
2017-02-28 09:57:34
800
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人