何超杰-CSDN博客

原创 2个特别大的文件A和文件B，求交集

2个特别大的文件A和文件B，求交集文件中存放的是url，2个文件都无法直接读到内存。思路hash+分片1.将文件A中的hash(url)%100，生成100个小文件。2.文件B中也hash(url)%100，生成100个小文件。3.然后将A子文件001和B子文件001求交集，放入一个结果文件即可。...

2021-07-17 22:25:09 887

字符串包含另外一个字符串(循环包含)题目：字符串包含如： abcde情况1：如包含 abc 返回true情况2：或者循环包含 cdea 也返回true其他情况：返回false去某公司笔试题思路1.现找出字符串2第一个字母在字符串1中的所有位置。2.然后遍历字符2是否和字符串1中的匹配位置依次相等。3.如果字符串1扫描到了边界，需从头继续扫描(循环包含)代码如下public class C002StringContains { public static void mai

2021-07-17 22:13:00 2005 1

原创编译android源码刷机到Nexus5x

基础环境1.系统：ubuntu16.042.安卓版本: android-8.1.0_r1 3.openjdk: 1.84.python版本: 2.7（系统默认）1.设置ubuntu镜像源/etc/apt/sources.list追加# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multi

2021-01-31 15:53:57 643 2

原创 nginx代理的几种场景分析

nginx中对/的处理方式不同我们访问路径：http://localhost/proxy/test.html 进行分析：场景1：location /proxy/ { proxy_pass http://loalhost/;}代理到http://localhost/test.html场景2：location /proxy/ { proxy_pass http://loca...

2019-09-29 11:57:28 438

原创 Linux常用命令知识库

linux常用命令知识库注：加粗的是我工作中最长用的命令一.文件管理命令awk 文本处理工具uniq 重复记录统计less 文件实时浏览cat 打开文件diff 比较两个文件差异find 查找文件cut 切分字符ln 建立软链接mv 移动/改名文件paste 合并2个文件的列patch 打补丁包rm 删除文件split 将一个文件切分多个文件touch 创建文件...

2019-09-25 11:15:57 398

原创 SpringCloud各个服务并发数优化总结

架构：nginx 1节点注册中心 1节点网关 2节点账号服务 2节点其他服务… 2节点背景：最近压测了api接口，发现默认的配置并发数较低，没有达到预期的目标。经过踩坑后，总结如下：1.tomcat修改并发数(tomcat容器)配置文件：server.xml<Connector port="8080" protocol="HTTP/1.1" ...

2019-09-18 19:13:22 3859

原创 docker nginx时区8小时问题

cat docker-compose.yml 配置文件：version: '2'services: nginx: image: 'nginx:latest' restart: always container_name: nginx ports: - '80:80' - '8081:8081' ...

2019-09-17 14:01:10 7220 1

原创 Apache对象池commons.pool使用

背景：要抓取网络数据，使用了chromedriver。因为创建和销毁驱动耗时间，所以考虑使用对象池管理。刚好apache提供了开源库，不用重复造轮子了。并且支持多key的池子。如：手机端的驱动放一个池子中，PC端的驱动放一个池子中。简单使用如下：maven引入：<dependency> <groupId>org.apache.commons</groupId&...

2019-08-27 11:15:02 786

原创 docker下nginx自定义日志并限制ip访问

一.Nginx部署docker-compose.ymlversion: '2'services: nginx: image: 'nginx:latest' restart: always container_name: nginx ports: - '80:80' - '443:443' v...

2019-08-14 14:59:25 1136

原创 web项目pom.xml基本配置

resources目录各环境配置：env目录:local.properties 本地环境dev.properties 开发环境test.properties 测试环境www.properties 生产环境pom.xml基本内容如下：<?xml version="1.0"?><project xmlns="http://maven.apache.org/POM/...

2019-08-12 16:25:56 2207

原创 docker常用命令

1.查看docker容器占用内存如：查看tomcat占用内存docker stats tomcat2.导出镜像docker export [container id] > tomcat.tardocker export 86bfcabf2f1f > tomcat.tar3.导入镜像docker import - tomcat:1.0 < tomcat.tar4.d...

2019-08-12 11:46:27 146

原创 SpringBoot+logback日志每日生成一个文件

背景：之前线上只有一个日志文件，达到了几个G的大小。不好找到某天的日志，也不好排查问题。因此需求如下：1.每天生成一个日志文件，当日志文件大于500M的时候自动生成service.2019-0730.0.log, service.2019-0730.1.log …的文件当前日志在service.log中。2.将异常的错误日志单独写入到error.log文件中。方便排查错误。切片原理同上。...

2019-07-30 10:48:57 9964 2

原创记一次有中文时,接口签名不一致

背景：应用部署在docker容器中，有一个docker用的是selenium的镜像。docker pull selenium/node-chrome自己单独把tomcat部署到了容器中。给客户端提供api接口使用了字段字典编码顺序签名，遇到中文突然出现接口签名不一致问题，但无中文时是正常的。第一反应该是中文编码问题。查看应用编码发现是：ANSI_X3.4-1968System.out.p...

2019-07-12 14:49:38 509

原创 docker迁移wordpress博客站点

首先备份旧的博客数据：mysql备份：./mysqldump -uroot -p wordpress > ./wordpress.dump数据库名为wordpress备份wordpress主题、插件、文件等目录如下：wordpress/wp-content/themeswordpress/wp-content/uploadswordpress/wp-content/plug...

2019-06-14 15:44:14 2484

原创 SpringCloud之fegin调用对象传递实践

服务提提供者 :@RestController("accountUserServiceRemote")public class UserServiceRemote { // 1.支持调用 /*传递的UsrUser是序列号对象*/ @RequestMapping("/service/user/saveUser") public void saveUser(@RequestBody ...

2019-06-06 16:39:02 1545

原创 kubenetes常用命令

加入集群:kubeadm join 172.16.15.130:6443 --token 1vl6j9.0qmfvvseoj0j0kyq --discovery-token-ca-cert-hash sha256:9824f3a2f92cbe90a15b353f90439d2eec91b008b74571aa060109e9f4e032c6查询集群节点:kubectl get nodes查...

2019-06-03 19:13:40 708

原创 Mac VMware Fusion Centos7 静态ip配置

1.把网络配置nat模式2.在mac终端到这个目录下cd /Library/Preferences/VMware\ Fusion/vmnet8cat nat.conf#NAT gateway addressip = 172.16.15.2netmask = 255.255.255.0这里的ip就是虚拟机的网关地址,netmask就是子网掩码cat dhcpd.confsubne...

2019-06-03 11:05:41 431

原创 centos7系统kubeadm部署kubernetes(k8s)集群

环境系统：阿里云centos5.7，2核、2G内存kubernetes：1.11.1docker：17.03.3.ce节点：172.19.235.15 master172.19.235.16 node1注：k8s要求服务器配置至少要2核，2G内存。我们这里准备2台机器。部署步骤1.关闭防火墙 (master/node)systemctl stop firewalldsys...

2019-06-02 21:22:01 865

原创 hadoop hdfs分布式部署

一.准备3台机器和环境配置/etc/hosts10.1.1.161 ubuntu1 (master)10.1.1.17 ubuntu2 (slave)10.1.1.94 ubuntu3 (slave)ubuntu1部署 NameNodeubuntu2部署 SecondaryNameNode,DataNodeubuntu3部署 DataNode3台机器已安装jdk1...

2019-04-30 17:58:06 316

原创 docker-compose部署kafka和zookeeper(推荐)

docker-compose.yml配置文件：version: '2'services: zookeeper: image: zookeeper:3.4 container_name: zookeeper restart: always hostname: zookeeper networks: shipengext2net...

2019-04-25 17:54:41 2888

原创 kafka+springboot整合代码(推荐)

pom文件依赖：<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>一.application.properties配置：spring.kafka.b...

2019-04-18 17:42:22 2041 1

原创 kafka+spring定时任务拉取消费

通过实践获取一下结论：1.topic可以被多个group消费group之间消费位移互不干扰2.topic被group消费时，若有多个消费者实例，同一条消息只会被一个消费者处理3.一个group可以消费多个topic4.一个消费者group可以拉取多个topic消息pom依赖包：<dependency> <groupId>org.springframewo...

2019-04-18 14:28:11 5632 3

原创 es使用painless脚本自定义排序

源文档：{“groupName”: “北京的俱乐部”,“deleted”: 0,“groupId”: “g1”,“allowAccess”: 1,“notice”: “介绍”}脚本代码：// 定义脚本 String scriptText =" def groupScore = params.groupMap[doc['groupId.keyword'].value];" + ...

2019-03-29 00:01:11 6920

原创 springboot+mysql支持emoji表情utf8mb4

1.修改表字符集ALTER table usr_user charset=utf8mb4;2.修改字段字符集ALTER table usr_user modify nick_name varchar(100) character set utf8mb4 collate utf8mb4_general_ci comment ‘姓名’;3.代码中连接池增加@Bean(destroyMetho...

2019-03-26 11:11:55 2323 1

原创 mac部署logstash,并增量同步mysql数据到elasticsearch

1.下载 logstash-6.2.3.tar.gz2.解压3.安装插件bin/logstash-plugin install logstash-input-jdbcbin/logstash-plugin install logstash-output-elasticsearch4.logstash-6.2.3下新建目录postion目录和jar目录5.将mysql驱动mysql-c...

2019-03-13 10:52:35 932

原创 docker部署elasticsearch

docker-compose.ymlversion: '2'services: elasticsearch-head: image: mobz/elasticsearch-head:5 container_name: elasticsearch-head restart: always networks: extnetwo...

2019-03-12 14:42:01 600

原创 ubuntu部署elasticsearch

注：需要用非root账号启动1.下载安装包：elasticsearch-5.5.1.zip解压：unzip elasticsearch-5.5.1.zip2.修改内存大小修改elasticsearch-5.5.1/config/jvm.options-Xms1g-Xmx1g3.修改外网访问conf/elasticsearch.yml&amp;nbsp;network.host: 0.0...

2019-03-08 19:06:06 738

原创 solr-admin创建core

1.将solr-6.6.5/example/example-DIH/solr/solr复制到solr_home中。2.将solr_home/solr/conf/managed-schema 重命名为schema.xml3.登录solr-admin界面点击：Add Corename：solrinstanceDir：solrdataDir：solrconfig：solrconfig.xm...

2019-02-19 23:49:24 764

原创 solr6.6部署

1.下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/6.6.5/2.将solr-6.6.5/server/server-webapp/目录下的webapp放到tomcat的webapp目录下，并重命名为solr3.把solr-6.6.5/server/lib/ext目录下的所有jar包、和solr-6.6.5/dist...

2019-02-19 10:37:17 274

原创 docker中运行docker

docker in docker需要配置映射目录：-v /var/run/docker.sock:/var/run/docker.sock也就是docker中的docker使用主机的端口和资源示例：docker run -d --restart=always -it -v /app:/app -v /var/run/docker.sock:/var/run/docker.sock -p 9...

2019-02-15 15:27:30 1223

原创 docker-compose启动ubuntu系统

docker-compose.ymlversion: '2'services: shipeng: image: ubuntu:16.04 container_name: shipeng restart: always tty: true networks: extnetwork: ipv...

2019-02-14 11:20:22 2244

原创 zookeeper简单安装

zookeeper下载地址： https://archive.apache.org/dist版本：zookeeper-3.4.9.tar.gz解压：tar -zxvf zookeeper-3.4.9.tar.gz重名了文件 cp conf/zoo_sample.cfg conf/zoo.cfg启动：bin/zkServer.sh start...

2019-01-28 11:45:19 150

原创 mongodb简单安装

下载地址： https://www.mongodb.com/download-center/community安装包： https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1604-4.0.5.tgz教程： https://cloud.tencent.com/developer/article/1165315tar zxvf...

2019-01-28 11:44:23 190

原创 Spark集群之Standalone模式

1.环境阿里云机器2台系统： ubuntu16.04spark： spark-2.2.0-bin-hadoop2.7.tgzjdk： jdk1.8.0_191名称主机Master172.31.175.30Worker172.31.175.372. 安装a.安装jdk忽略b.安装spark下载地址：https://archive.apache.or...

2019-01-08 17:50:20 246

原创 ubuntu创建新用户

#useradd -r -m -s /bin/bash test #test为新增用户#passwd test #修改用户密码创建用户时指定 /bin/bash 否则无法使用ls 以及tab等

2019-01-08 15:24:46 1421

原创 kafka快速入门安装

前言：公司最近要做个人画像及推荐相关业务，官网快速入门教程：http://kafka.apache.org/quickstart快速入门注：假设你电脑上没有安装Kafka和Zookeeper1.下载2.1.0 release版本http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz下载完成后...

2018-12-29 18:40:36 194

原创 linux记录所有用户的操作命令

1.在/etc/profile加入如下脚本PS1="`whoami`@`hostname`:"'[$PWD]'historyUSER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'`if [ "$USER_IP" = "" ]thenUSER_IP=`hostname`fiif [ ! -d ...

2018-12-29 15:44:06 2994 1

原创 API接口签名规范

背景：为了增加接口参数安全，对接口参数加盐进行签名校验。原理：客户端对传送的参数字典排序后，进行md5签名。服务器接收参数后，同理进行参数字典排序后md5签名。若客户端与服务端的签名一致，说明参数未被篡改，校验通过。请求参数示例：字段数据类型描述phone158112341234String手机号timestamp1538990392850long时...

2018-12-11 11:08:55 5533

原创 mysql字段命名规范

我们在开发过程中，字段命名规范基本遵循以下原则：1.数据库表名、字段用小写命名，用下划线分隔2.数据库字段名禁止使用数据库内置字段mysql关键字如下：ADD ALL ALTERANALYZE AND ASASC ASENSITIVE BEFOREBETWEEN BIGINT BINARYBLOB BOTH BYCALL CASCADE CASECHANGE CHAR CHAR...

2018-12-11 10:44:51 6531

原创 mysql字段定义规范

1.主键一般用id 名称2.表中尽量有以下4个字段create_at 创建时间creater 创建人update_at 修改时间updater 修改人3.字段类型规范a.主键等id字段建议用char(32)类型b.时间类型字段建议用bigint(20)类型c.状态、删除等类型标志建议用int(1)类型d.文章、内容等短文本建议用 text类型(65,535字节)e.长文本建议...

2018-12-07 19:06:19 2928 2