- 博客(30)
- 收藏
- 关注
RSS订阅原创 Quartz Cron表达式
月) ：可以用0-11 或用字符串 “JAN, FEB, MAR, APR, MAY, JUN, JUL, AUG, SEP, OCT, NOV and DEC” 表示。“/”：为特别单位，表示为“每”如“0/15”表示每隔15分钟执行一次,“0”表示为从“0”分开始, “3/20”表示表示每隔20分钟执行一次，“3”表示从第3分钟开始执行。“L”：用于每月，或每周，表示为每月的最后一天，或每个月的最后星期几如“6L”表示“每月的最后一个星期五”
2023-02-27 21:20:02
163
原创 Linux 目录结构及主要内容
usr目录下包括涉及字体目录/usr/share/fonts ，帮助目录 /usr/share/man或/usr/share/doc，普通用户可执行文件目录/usr/bin 或/usr/local/bin 或/usr/X11R6/bin ，超级权限用户root的可执行命令存放目录，比如 /usr/sbin 或/usr/X11R6/sbin 或/usr/local/sbin 等；Linux的文件系统的入口就是/，所有的目录、文件、设备都在/之下，/就是Linux文件系统的组织者，也是最上级的领导者。
2023-02-26 21:37:55
1140
原创 Heritrix爬虫方案
进入运行参数设置页面后，有很多可以设定的参数，对于需要了解详情的设置，请点击设置框左边的“？使用Heritrix来抓取网页必然会存在一些不需要的数据或者URL，需要用正则表达式来过滤到你不想要的东西,抓取和过滤的原理是一样的,就是具有共性的头和尾,把中间部分抓出来，正则表达式在抓取中应用比较多,也可以称之为一种规则,你抓取内容要按照一定的规则来抓取,无用的你还得按照一定的规则过滤。等的前面的内容，而只是简单指向本网站下的某个网页，那么在加入到URI中的时候，要记得加上头使得它是一个完整的网页的URL。
2023-02-25 19:30:34
587
1
原创 Linux下安装配置nfs
192.168.0.101(rw,no_root_squash,no_all_squash,sync) 为客户端的地址及权限，地址可以是一个网段（如：192.168.0.0/24），一个IP地址或者是一个域名，域名支持通配符，如：*.root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，拥有匿名用户权限，通常他将使用nobody或nfsnobody身份；显然开启这项是不安全的。/usr/local/test/ 为共享的目录，使用绝对路径。
2023-02-23 22:39:10
1134
原创 session一致性memcached缓存数据库解决方案
配置memcachedNodes属性，配置memcached数据库的ip和端口，默认11211，多个的话用空格隔开目的,让tomcat服务器从memcached缓存里面拿session或者是放session。修改server.xml里面修改Engine标签，添加jvmRoute属性，目的是查看sessionid里面带有tomcat的名字，就是这里配置的jvmRoute。web服务器连接memcached的jar包拷贝到tomcat的lib。配置tomcat的conf目录下的context.xml。
2023-02-22 20:20:50
87
原创 FIO测试工具使用方法
主要用来测试iops 比 iometer 要好用很多。下载安装： 一般下载为。tar.gz 文件 ，tar -xzvf 就可。进入安装目录 make install 之后就可以正常使用，非常容易。测试时间为20秒，如果不写则一直将5g文件分4k每次写完为止。测试过程绕过机器自带的buffer。Write Bandwidth test写带宽测试。测试文件名称，通常选择需要测试的盘的data目录。Write IOPS test 随机写测试。Read IOPS test随机读测试。只使用1g内存进行测试。
2023-02-21 20:16:50
406
原创 Tomcat 7 性能优化
Young区被划分为三部分，Eden区和两个大小严格相同的Survivor区，其中，Survivor区间中，某一时刻只有其中一个是被使用的，另外一个留做垃圾收集时复制对象用，在Eden区间变满的时候， GC就会将存活的对象移到空闲的Survivor区间中，根据JVM的策略，在经过几次垃圾收集后，任然存活于Survivor的对象将被移动到Tenured区间。如果使用Servlet 3.0的异步处理，一个好的默认是使用maxThreads和最大预期的并发请求（同步和异步）的最大值中的较大值。
2023-02-20 20:28:21
456
原创 Nginx + Keepalived
我们需要把master的keepalived配置文件 copy到master机器（172）的 /etc/keepalived/ 文件夹下，在把backup的keepalived配置文件copy到backup机器（173）的 /etc/keepalived/ 文件夹下，最后把nginx_check.sh脚本分别copy到两台机器的 /etc/keepalived/文件夹下。## keepalived 会定时执行脚本并且对脚本的执行结果进行分析，动态调整vrrp_instance的优先级。
2023-02-19 19:19:57
34
原创 SVN入门教程
如果我更新了之后，在编写代码的同时别人将该文件再次更新（我不可能时时刻刻都查看更新），这时直接提交会造成冲突，正确的做法是：提交之前将该文件先执行与资源库同步操作，先将冲突解决掉再提交代码。冲突就是在同一个版本基础之上，多个人对该文件修改了修改，其中一个人将文件提交到SVN，这时，该文件已经是新的版本，但是，其他人的本地还是旧的版本，这样你就可以把档案恢复到旧的版本,或是浏览文件的变动历史。tags：标签，项目开发完成后，发布上线时，需要将主干的代码打标签到tags中，一般情况下，tags的内容是只读的。
2023-02-18 11:34:38
58
原创 MyCat安装和测试
然后是赋权限，我这里是赋了所有权限，可以只赋某个库，或者部分权限，命令自己网上查，执行赋权限语句grant all privileges on *.* to 'mycat'@'%' identified by '123456';登录新建的用户并创建响应的数据库，mysql –umycat –p ，create database db1/db2/db3，根据不同机器数据库名不同。在conf目录下配置server.xml ，将目录下没有的用户全部删掉或者注释掉，添加可用的用户，这里添加了。
2023-02-17 19:52:43
37
原创 Linux忘记root密码，重置密码方法
备注：其他用户忘记密码，直接使用root用户进行更改即可，passwd 用户名 然后回车，输入密码即可。修改完成后输入 shutdown -r now 重启，使用新密码登录。按‘e’进入，并选中红色框内的kernel ，使用上下箭头选取。按 ‘e’键进入，在后面输入 single，然后敲击回车。回车后回到以下界面，按‘b’进入单用户模式。输入 passwd命令直接修改密码。启动linux，按任意键进入。
2023-02-15 19:57:26
321
原创 Oracle RAC+DG安装流程
从Oracle 11g R2开始，Oracle RAC网络对IP地址有特殊要求，新增了加监听IP地址（SCAN IP），所以从Oracle 11g R2开始Oracle RAC网络至少需要4种IP地址（前面介绍三种IP地址）。该特性的好处在于，在数据库与客户端之间，添加了一层虚拟的服务层，就是所谓的SCAN IP以及SCAN IP Listener，在客户端仅需要配置SCAN IP的tns信息，通过SCAN IP Listener，连接后台集群数据库。
2023-02-14 21:53:18
353
原创 ipvsadm使用手册
在LVS中为http协议添加一个VIP为1.1.1.1的service, 并设置调度方式为Round Robin。为VIP为1.1.1.1的LVS添加一个IP为 192.168.1.2 的Local Address。删除VIP为1.1.1.1的LVS对应的IP为192.168.1.2的Local Address。修改VIP为1.1.1.1的LVS中 http服务的调度算法为Round Robin。查看所有的VIP为1.1.1.1的LVS对应的Local Address。在LVS上修改存在的Service。
2023-02-13 21:49:50
92
原创 kafka集群搭建
注意这里最好下载scala2.10版本的kafka，因为scala2.10版本的兼容性比较好和2.11版本差别太大。事先启动zookeeper集群，这里配置zookeeper集群的地址。配置broker.id从0开始，后面其他节点配置1,2,3,4等等。在provider输入信息，在consumer能接收到信息。修改完配置以后在每个节点启动kafka。在另外一个节点创建一个consumer。在一个节点创建一个provider。从官网下载Kafka，下载地址。将集群分发到其他机器，比如。
2023-02-12 21:33:47
55
原创 flume+kafka搭建
前面kafka集群已经成功，这里只需要配置好conf/ flume-conf.properties文件，配置如下。执行上面的main方法作为flume的client端来产生数据，可以在上面的consumer监听里面看到结果。Flume解压既安装成功，配置conf/ flume-conf.properties文件启动完成相应的功能。建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka的插件包可以直接配置使用。注意这里的a1指的是配置文件中的agent名字a1不是随意写的。
2023-02-11 21:31:28
454
原创 Storm手册
Supervisor节点的worker占位槽，集群中的所有Topology公用这些槽位数，即使提交时设置了较大数值的槽位数，系统也会按照当前集群中实际剩余的槽位数来进行分配，当所有的槽位数都分配完时，新提交的Topology只能等待，系统会一直监测是否有空余的槽位空出来，如果有，就再次给新提交的Topology分配。(1)emit有一个参数：此唯一的参数是发送到下游Bolt的Tuple，此时，由上游发来的旧的Tuple在此隔断，新的Tuple和旧的Tuple不再属于同一棵Tuple树。
2023-02-11 10:48:57
112
原创 storm搭建
在各个从节点启动supervisor，./bin/storm supervisor >> logs/supervisor.out 2>&1 &启动nimbus，./bin/storm nimbus >> logs/nimbus.out 2>&1 &启动storm ui ，./bin/storm ui >> logs/ui.out 2>&1 &进入解压包，配置conf目录下的storm.yaml文件。这里配置zookeeper节点，可以用ip或者域名。将解压的storm包分发到各个节点。
2023-02-10 22:11:53
99
原创 Redis集群搭建
通过前面的复制过程我们了解到，主库接收到SYNC的命令时会执行RDB过程，即使在配置文件中禁用RDB持久化也会生成，那么如果主库所在的服务器磁盘IO性能较差，那么这个复制过程就会出现瓶颈，庆幸的是，Redis在2.8.18版本开始实现了无磁盘复制功能（不过该功能还是处于试验阶段）。如果从库在断开期间，主库的变化不大，从库再次启动后，主库依然会将所有的数据做RDB操作吗？（从库有做持久化的前提下）第二步，将主库重新启动后，执行SLAVEOF命令，将其设置为其他库的从库，这时数据就能更新回来；
2023-02-09 21:25:11
5082
原创 solrcloud集群搭建
索引集合包括两个Shard（shard1和shard2），shard1和shard2分别由三个Core组成，其中一个Leader两个Replication，Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。实现的思路是将索引数据进行Shard（分片）拆分，每个分片由多台的服务器共同完成，当一个索引或搜索请求过来时会分别从不同的Shard的服务器中操作索引。//标记，高亮关键字前缀。//每个分片的最大长度，默认为100。
2023-02-08 21:53:22
268
原创 Dockerfile指令总结
Dockerfile指令总结指令的一般格式为INSTRUCTION arguments，指令包括FROM、MAINTAINER、RUN等。FROM格式为FROM 或FROM :。第一条指令必须为FROM指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个FROM指令（每个镜像一次）。MAINTAINER格式为MAINTAINER ，指定维护者信息。RUN格式为RUN
2023-02-07 23:21:11
74
原创 Solr简介
Solr1. Solr 是什么？Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。Solr 提供了层面搜索(就是统计)、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和JSON等格式）。它易于安装和配置，而且附带了一个基于HTTP 的管理界面。可以使用 Solr 的表现优异的基本搜索功能，也可以对它进行扩展从而满足企业的需要。Solr的特性包括：高级的全文搜索功能专为高通量的网络流量进行的优化基于开放接口（XML和HTTP）的标准 综合的HTM
2023-02-07 23:02:55
3601
原创 Hive 安装
5.安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下。修改hive-site.xml（删除所有内容，只留一个）#(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接)如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)3.配置mysql metastore（切换到root用户）普通表和分区表区别：有大量数据增加的需要建分区表。（注意：删除匿名用户，允许用户远程连接）
2023-02-05 23:26:25
27
原创 tomcat+nginx+keepalived高可用实现详细部署
以下是针对nginx状态进行检测的脚本，第一次nginx服务死掉时，会重新启动，如果Nginx服务无法正常启动，则杀掉keepalived进程。两台keepalived的配置如下：可以看出两者之间的区别仅仅是主备的权重不同，主为100备为66，其余一些有作用的配置已经用红色标注。这里面配置较多，其中比较有用的已经标红了，可以直接将此部分配置在默认的nginx的配置文件里面即可。3、将主机的nginx进程kill掉，看看vip是不是切换到备机器上了。停掉其中一台的任何服务，不影响整个系统的运作｡
2023-02-05 09:40:44
273
原创 LVS+Nginx实现负载均衡
在lvs的DR和TUn模式下，用户的访问请求到达真实服务器后，是直接返回给用户的，而不再经过前端的Director Server，因此，就需要在每个Real server节点上增加虚拟的VIP地址，这样数据才能直接返回给用户。此处在eth0设备上绑定了一个虚拟设备eth0:0，同时设置了一个虚拟IP是192.168.0.57，然后指定广播地址也为192.168.0.57，需要特别注意的是，这里的子网掩码为255.255.255.255。参数值为1时启用ip转发，为0时禁止ip转发。启用系统的包转发功能。
2023-02-04 20:36:15
194
原创 Oracle 11g的安装 Windows
如果你没安装过Oracle产品的话在注册表里面的与Oracle有关的注册表全删了，如果你安装过Oracle产品，就找与Oracle数据库有关的注册便删了，如果你以前安装过Oracle而没有执行安装前准备的话，在配置数据库的时候会出现各式各样的错误。在安装的时候会遇到问题，尤其是在你以前安装过之后，卸载没有完全卸载，遗留的有注册表。在注册表上与Oracle 11g路径有关的路径都要改正确。选择安装目录，按照图片上的，只选择基目录即可。按照上图选择你要安装的语言。设置各个用户的口令，确定，完成。
2023-02-04 17:22:16
250
原创 Linux安装ftp组件
这样应该没问题了（如果，还是不行，看看是不是用了ftp客户端工具用了passive模式访问了，如提示Entering Passive mode，就代表是passive模式，默认是不行的，因为ftp passive模式被iptables挡住了，下面会讲怎么开启，如果懒得开的话，就看看你客户端ftp是否有port模式的选项，或者把passive模式的选项去掉。外网是可以访问上去了，可是发现没法返回目录（使用ftp的主动模式，被动模式还是无法访问），也上传不了，因为selinux作怪了。给ftp用户添加密码。
2023-02-04 00:08:11
98
原创 RabbitMQ完全安装
上传rabbitmq-server-3.4.1-1.noarch.rpm文件到/usr/local/src/rabbitmq/可登陆管理控制台，同时可以查看rabbitmq节点的相关信息(进程数，内存使用情况，磁盘使用情况等)但无法查看节点的相关信息(上图红框标识的部分)。可登陆管理控制台，可查看所有的信息，并且可以对用户，策略(policy)进行操作。仅可登陆管理控制台，无法看到节点信息，也无法对策略进行管理。无法登陆管理控制台，通常就是普通的生产者和消费者。创建Virtual Hosts。
2023-02-02 20:51:39
41
原创 LVS 简介
IPVS是其具体的实现模块。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。跟前面两种方式，它的报文转发方法有所不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。
2023-02-01 20:09:35
351
原创 keepalived 高可用快速配置
notification_email_from test@localhost#发送邮件的from地址，可以随意写，邮件地址不存在都无所谓。real_server 192.168.1.139 80 {#设置真实服务器的心跳机制 RID PORT。virtual_server 192.168.1.200 80 {#设置虚拟lvs服务，VIP PORT。delay_before_retry 1#每隔1秒钟再次检查。smtp_server 127.0.0.1#邮件服务的地址，一般写本地。
2023-01-31 20:32:59
93
Vim（枕头）基本操作手册
2023-01-30
Quartz任务调度框架简介
2023-01-30
数据库系统工程师详细笔记
2023-01-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人