- 博客(56)
- 资源 (17)
- 收藏
- 关注
原创 使用Redis Pipeline管道技术,批量导入Redis 500万条记录(借助Mysql生成csv文件)
本文是基于Python2.7.5版本写的shell脚本,目的是在CentOS7.3上执行Redis Pipeline管道操作命令,以批量导入Redis 500万条记录,下面是详细操作步骤。步骤一:在Mysql5.7上创建一个Stored Procedure,在表demo_data中导入Mysql模拟的500万条记录:登陆Mysql:Mysql -hlocalhost -uroot -p登陆成功后,切换到要导入数据的数据库实例。然后,创建表demo_data:CREATE T
2021-04-25 19:41:10
1201
原创 CentOS7.6安装配置Redis6.0.9
总体规划系统版本:CentOS7.6 X64Redis版本: 6.0.9IP地址: 192.168.1.201集群模式: 暂定standlone,以后扩展成cluster安装步骤1.下载Redis官网6.0.9版本:到官网先下载tar.gz包,下载URL:https://download.redis.io/releases/redis-6.0.9.tar.gz可以在下载完成后,拷贝到你指定的目录下,如我下载的目录为:/home/software也可以.
2021-01-24 01:56:11
700
原创 MySQL远程连接报错 Host xxx is not allowed to connect to this MySQL server
一看到这个错误:Host xxx is not allowed to connect to this MySQL server第一反应应该就是MySQL的远程连接未开启,解决办法如下:1.在本机命令行登录:mysql -u root -p输入密码2.登录mysql后,切换到mysql:use mysql;3.执行授权sql:update user set host = '%' where user = 'root';4.授权立即生效:FLUSH PRIVILEGES
2020-11-29 18:45:11
750
原创 Kafka的几个常用命令
集群中创建主题bin/kafka-topics.sh --create --zookeeper 192.168.1.201:2181,192.168.1.202:2181,92.168.1.203:2181 --replication-factor 3 --partitions 3 --topic jackTopic集群中查看主题bin/kafka-topics.sh --list --zookeeper 192.168.1.201:2181,192.168.1.202:2181,92.168.1.
2020-11-28 00:09:27
704
原创 Linux 压缩和解压缩命令
打包成tar.gz格式压缩包# tar -zcvf package.tar.gz /package解压tar.gz格式压缩包# tar zxvf package.tar.gz打包成tar.bz2格式压缩包# tar -jcvf package.tar.bz2 /package解压tar.bz2格式的压缩包# tar jxvf package.tar.bz2压缩成zip格式# zip -q -r package.zip package/解压zip格式的压缩包
2020-11-15 16:49:38
688
原创 CentOS7.6 Nginx1.61.1日志按日期切割
文件名:/usr/local/nginx/split_log.sh脚本内容:#!/bin/bash##设置日志文件存放目录LOG_PATH="/var/log/nginx/"#定义日期格式RECORD_TIME=$(date -d "yesterday" +%Y-%m-%d+%H:%M)#设置pid文件PID=/var/run/nginx/nginx.pid#重命名日志文件mv $LOG_PATH/access.log $LOG_PATH/access.$RECORD..
2020-11-01 14:35:51
243
原创 CentOS7.6系统申请和安装私有CA证书
CentOS7.6上,以root用户操作cd /etc/pki/CA/执行如下,注意有左右英文下的括号:(umask 077; openssl genrsa -out private/cakey.pem 1024)openssl req -new -x509 -key private/cakey.pem -out cacert.pem -days 365touch index.txt serialecho "10001" > serialmkdir csr-------
2020-11-01 11:27:02
983
原创 CentOS7.6下Nginx热部署步骤
Nginx热部署步骤1. 备份旧的nginx二进制可执行文件 cp nginx nginx.bak2. 向Nginx的Master主进程发送SIGUSR2命令,在原来的master和worker子进程上创建新的master和worker进程 此时,新旧master和worker并行存在 kill -s SIGUSR2 $Master_PID3. 查看进程pid所在目录,此时多了个文件: nginx.pid.oldbin 查看进程pid目录: ll /var/r...
2020-10-26 16:10:59
230
原创 CentOS7.6配置nginx1.16.1的环境变量
1.编辑/etc/profile文件 sudo vi /etc/profile 2.添加export export NGINX_HOME=/usr/local/nginxexport PATH=$PATH:$NGINX_HOME/sbin 3.保存退出 :wq! 4.使修改生效source /etc/profile 5.验证 nginx -v 6.配置别名 1)配置...
2020-10-25 23:08:04
779
1
原创 CentOS7.6 卸载Nginx1.16.1
1:停止Nginx软件service nginx stop2:删除Nginx的自动启动chkconfig nginx off3:从源头删除Nginxrm -rf /usr/sbin/nginxrm -rf /etc/nginxrm -rf /etc/init.d/nginx4:再使用yum清理yum remove nginx5: 结束
2020-10-25 20:27:07
310
原创 CentOS7.6安装配置Nginx1.61.1
1.安装依赖: yum install gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 或者直接执行一条命令安装全部依赖包: yum install gcc-c++ -y pcre pcre-devel zlib zlib-devel openssl openssl-devel2.下载或上传安...
2020-10-25 11:39:49
235
原创 解决java.lang.ClassCastException: class java.lang.Integer cannot be cast to class java.lang.Long异常
下面代码段,用jdbcTemplate.queryForMap查询数据库表的ID时,虽然编译通过没有报错,但会有问题:try { Map<String,Object> userPo = jdbcTemplate.queryForMap("select * from auth_user where username='" + username + "'"); if (userPo == null) { throw
2020-07-21 22:58:54
19471
转载 -bash: jps命令未找到...解决办法
转载自:https://blog.csdn.net/leshami/article/details/78562642解决方法:需要安装java-1.X.X-openjdk-devel这个包,他提供了jps这个工具。(1)查找可用的包yum list |grep jdk-develjava-1.6.0-openjdk-devel.x86_64 1:1.6.0.41-1.13.13.1.el7_3 base java-1.7.0-openjdk-dev...
2020-07-19 12:41:04
1026
原创 CentOS7.6用Shell脚本批量启动Zookeeper集群(3个ZK节点)
1.规划三个Zookeeper集群如下:Slave1: 192.168.1.201Slave2:192.168.1.202Slave3:192.168.1.2032.前提:3个节点均已设置了SSH免密登录注: 如何配置CentOS7上的SSH免密登录,参考文章:https://blog.csdn.net/ywd1992/article/details/1005193583.在3个节点中的任意一台机器登录,创建启动脚本:1)脚本名称:touch start_zk_...
2020-07-19 11:22:45
652
原创 CentOS7.6 SSH免密登录配置报错
今天配置Linux的SSH免密登录1.报错如下:Authentication refused: bad ownership or modes for directory /root/.ssh2.原因目录/root/.ssh权限,其owner是root:root,权限是777。但是SSH不希望/root/.ssh目录和~/.ssh目录对组有写权限。3.解决修改目录/root/.ssh的权限,按照下面修改:ssh对相关文件夹的权限要求如下:1).ssh目录的权限必须是700;2
2020-07-19 00:20:48
370
原创 Centos7.6安装和配置最新版Nginx服务
1. 使用EPEL仓库中的Nginx安装包。先运行下面的命令来完成安装epel仓库:sudo yum install epel-release2. 输入以下命令来安装 Nginx:sudo yum install nginx3.设置Nginx开机启动:sudo systemctl enable nginx4.启动 Nginx:sudo systemctl start nginx5.运行以下命令,检查Nginx运行状态,正常启动nginx后,状态应为active:..
2020-07-18 00:34:51
738
原创 CentOS7.6安装和配置Kafka集群(三个节点,亲测通过)
三个节点规划如下(实验环境与ZK Server一致,实际生产环境需要独立部署在不同的实际服务器或Docker容器):Master: 192.168.1.201Slave1:192.168.1.33Slave2:192.168.1.203Zookeeper版本:zookeeper-3.4.12Kafka版本:kafka_2.12-2.3.0安装配置步骤:1.安装配置zookeeper集群(三个节点) 详细步骤见前一篇文章,地址:https://mp.csd...
2020-07-09 00:17:38
930
原创 CentOS7.6安装和配置Zookeeper集群(三个节点,亲测通过)
三个节点集群规划:Master: 192.168.1.201Slave1:192.168.1.33Slave2:192.168.1.203Zookeeper版本:zookeeper-3.4.121.下载zookeeper.3.4.12.tar.gz下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz然后解压:tar -xzvfzooke...
2020-07-09 00:16:33
605
原创 用SXSSFWorkbook导出50万条数据到本地Excel文件(简单实现例子)
不废话,上代码:import org.apache.poi.ss.usermodel.Cell;import org.apache.poi.ss.usermodel.Row;import org.apache.poi.ss.util.CellReference;import org.apache.poi.xssf.streaming.SXSSFSheet;import org.apa...
2018-09-10 17:07:31
5568
原创 Linux环境的ECS中,解决中文显示为乱码的情况
一般原因如下: 1. 未安装中文语言包2. 未设置正确的默认语言3. SSH 终端未正确配置1.设置系统语言为中文:sudo vim /etc/default/locale将内容改为:LANG="zh_CN.UTF-8"LANGUAGE="zh_CN:zh:en_US:en"2.执行下面命令,安装中文语言包:sudo apt-get inst
2018-01-07 22:07:30
1476
4
原创 Linux递归统计当前目录下普通文件的数量
Linux递归统计当前目录下普通文件的数量:ls -lR |grep "^-"|wc -l或者:ls -lR | grep -c "^-"递归统计方式: ls -lRLinux常见的文件类型有:普通文件、目录文件、字符设备文件和块设备文件、符号链接文件等,其中:1 普通文件的文件权限第一个字符为"-"2 目录文件的文件权限第一个字符为"d"3 字符设备文件的文件权限
2018-01-07 22:06:17
14202
原创 Win7安装与配置RabbitMQ
1.安装下载Erlang,地址:http://www.erlang.org/download/otp_win32_R15B.exe,双击安装即可(首先装)下载RabbitMQ,地址:http://www.rabbitmq.com/releases/rabbitmq-server/v3.3.4/rabbitmq-server-3.3.4.exe ,双击安装即可下载rabbit-clien
2018-01-07 22:04:50
1668
1
原创 阿里云Ubuntu16.04 LTS上安装与配置RabbitMQ
1、下载rabbitmq-server-generic-unix-3.6.5.tar.xz2、tar -xvf rabbitmq-server-generic-unix-3.6.5.tar.xz3、mv rabbitmq_server-3.6.5/ /usr/local/rabbitmq4、启动: #启动rabbitmq服务 /usr/local/rabbitmq/
2018-01-07 22:01:49
1168
原创 Zookeeper3.4.6与Kafka0.8.1.1集群安装和配置详细步骤
第一步:Zookeeper分布式集群环境的安装与配置准备环境:JDK版本:jdk-7u25-linux-i586.tar.gz #可以命令下载:wgethttp://211.149.198.47/data/main/jdk-7u7-linux-i586.tar.gzkafka版本:kafka_2.9.2-0.8.1.1.tgzzookeeper版本:zookeep
2017-04-24 15:52:11
1437
原创 CentOS6.4卸载和安装jdk7
找到当前系统中已经安装的jdk和java:rpm -qa | grep javarpm -qa | grep jdk 单个卸载程序,使用rpm -e xxx命令。命令行:rpm -e jdk-1.7.0_79-fcs.x86_64 批量卸载所有名字包含jdk的已安装程序。命令行:rpm -qa | grep jdk | xargs rpm -e --nodeps 批量卸
2017-04-24 13:41:39
768
转载 【转载】序列化框架性能对比(kryo、hessian、java、protostuff)
本文转自: http://blog.csdn.net/jmppok/article/details/44409693 ,作者 jmppok,感谢分享序列化框架性能对比(kryo、hessian、Java、protostuff)简介: 优点缺点Kryo速度快,序列化后体积小
2017-04-24 12:44:02
742
转载 /bin/bash^M: bad interpreter: No such file or dire
在执行shell脚本时提示这样的错误主要是由于shell脚本文件是dos格式,即每一行结尾以\r\n来标识,而unix格式的文件行尾则以\n来标识。
2016-01-12 01:15:43
466
转载 JAVA反射机制及应用例子
JAVA 反射机制是Java 被视为动态(或准动态)语言的一个关键性质。这个机制允许程式在运行时通过Reflection APIs 取得任何一个已知名称的class 的内部资讯,包括其modifiers(诸如public, private,static 等等)、superclass(例如Object)、interfaces(例如Cloneable),也包括fields 和methods 的所有
2014-09-30 01:24:26
555
转载 Spring核心包
除了spring.jar文件,Spring还包括有其它13个独立的jar包,各自包含着对应的Spring组件,用户可以根据自己的需要来选择组合自己的jar包,而不必引入整个spring.jar的所有类文件。 (1) spring-core.jar 这个jar文件包含Spring框架基本的核心工具类,Spring其它组件要都要使用到这个包里的类,是其它组件的基本核心,当然你也可以在自
2014-09-30 01:22:50
1158
转载 myeclipse8.5上安装 Maven3.0.5插件
环境准备:JDK 1.6Maven 3.0.4myeclipse 8.6.1安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目,目前最新版本是 3.0.4,我用的也是这个。首先去官网下载 Maven:http://www.apache.org/dyn/closer.cgi/maven/binaries/apa
2014-09-29 00:48:19
1893
转载 BroadLeaf项目搜索功能改进
Broadleaf Commerce 是一个开源的Java电子商务平台,基于Spring框架开发,提供一个可靠、可扩展的架构,可进行深度的定制和快速开发。关于SolrBroadleaf项目中关于商品的搜索使用了嵌入式的Solr服务器,这个从配置文件中可以看出来。项目主页: http://www.broadleafcommerce.com/示例网站: http://demo.
2014-09-28 22:15:33
1070
转载 Java递归搜索指定文件夹下的匹配文件
import java.io.File;import java.util.ArrayList;import java.util.List;import java.util.Queue;/** * @author tiwson 2010-06-02 * */public class FileSearcher { /** * 递归查找文件 * @param baseDi
2014-09-28 03:19:12
824
转载 JAVA递归调用 复制文件夹及子文件夹及文件夹下的文件
import java.io.*; import java.util.*; /** *复制文件 *by lecky.lee *2006-06-08 */ public class CopyFile { String intiPathOut; //初始输出路径 int cnt=0; //计数器,用于判定是否首次调
2014-09-28 03:17:31
735
转载 分布式消息系统Kafka介绍
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案,但若要进行实时处理,通常会有较大延迟。
2014-09-27 22:50:25
516
转载 两道设计模式的面试题
这是最近碰到的2个设计模式的面试题,大概如此: 1, Windows Media Player和RealPlayer是常用的媒体播放器,它们的API结构和调用方法非常不同,现在你的应用需要同时支持调用这2种播放器的API。你要怎么设计? 2, 现在有一种空调,它支持3种模式:Hot Air,Cool Air 和DoNothing。例如,当选择Hot Air模式时,再
2014-09-27 22:50:19
1832
原创 Java IO中的文件复制实例(原创)
package org.jack.tools.IO;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import
2014-09-27 22:31:05
610
原创 Linux中Sed命令删除字符串中的部分字符
用Sed命令可以把一个字符串中的一些字符删除,比如删除日期#Echo “2006-11-21 22:16:30” | sed ‘s/-//g’ | sed ‘s/ //g’ | sed ‘s/://g’得到的结果就是:20061121221630
2014-09-27 22:29:20
6063
转载 linux查找目录下的所有文件中是否含有某个字符串
查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式 (1)正则表达式一般用来描述文本模式的特殊用法,由普通字符(例如字符a-z)以及特殊字符(称为元字符,如/、*、?等)组成。 (
2014-09-27 22:24:06
506
转载 分布式发布订阅消息系统 Kafka 架构设计
英文原文:Kafka Architecture Design我们为什么要搭建该系统Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道(data pipeline)和消息系统使用。活动流数据是所有站点在对其网站使用
2014-09-27 22:04:43
767
Jquery上传插件文件ajaxfileupload.js 修复版下载
2017-09-28
Java编程中使用动态代理实现AOP功能(附项目设计实例)
2013-08-29
反射实现 AOP 动态代理模式(Spring AOP 的实现原理)
2013-08-26
基于LDAP统一身份认证系统的研究
2013-08-25
Java开发中的Memcache原理及实现
2013-08-25
RedHat安装WebLogic11g软件及Web工程的部署
2013-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人