weixin_39979119的博客

原创 centos7 安装kubernetes

centos7 安装kubernetes安装centos7centos7 静态ip配置vi /etc/sysconfig/network-scripts/ifcfg-ens33以下是可能变化的值BOOTPROTO=staticONBOOT=yes以下是要增加IPADDR=192.168.91.100GATEWAY=192.168.91.2DNS1=192.168.91.2域名解析vi /etc/hosts192.168.80.33 k8s-master192.168.80.34

转载 443端口和80端口的区别？

这两个端口最大的区别就在于服务不同。端口：80服务：HTTP说明：用于网页浏览。木马Executor开放此端口端口：443服务：Https说明：网页浏览端口，能提供加密和通过安全端口传输的另一种HTTP。HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议 它是一个安全通信通道，它基于HTTP开发，用于在客户计算机和服务器之间交换信息。...

转载 Spring事务注解@Transactional的坑爹陷阱

生产系统核心部分特别是涉及到账户的批量处理，放在凌晨定时运行，结果出问题了，现象很诡异：1）问题偶发，但没有规律2）程序没有按照预定步骤处理数据库相关数据3）发生后也没有发现有死锁，但出现异常的锁前后折腾了三次，但一直没有找到根源。后来另外一个问题发生时，分析发现数据库事务处理形同虚设，用Spring @Transactional注解的数据库事务完全没有生效，让人费解，甚至怀疑所用的Po...

原创 solr删除方式

solr删除方式<delete><query>*:*</query></delete><commit/>

转载 spring三种注解实现Bean依赖注入

Spring 的基于注解实现Bean依赖注入支持如下三种注解Spring自带依赖注入注解Spring自带的一套依赖注入注解1 @Required：依赖检查；2 @Autowired：自动装配自动装配，用于替代基于XML配置的自动装配基于@Autowired的自动装配，默认是根据类型注入，可以用于构造器、字段、方法注入@Resource的作用相当于@Autowired，只不过@Auto...

原创 solr中文键变成下划线

原创 solr-7.6.0.tgz安装与中文分析器

solr-7.6.0.tgz安装1.下载地址http://lucene.apache.org/solr/2 配置solr 到tomcat(关键)将solr 的webapp文件复制到tomcat的webapps目录下并命名为solr3 配置依赖包将solr下 /ext 文件夹中 所有的jar 包复制到 tomcat 里的solr 目录下的WEB-INF/lib 下cp -r /opt...

原创 mysql-5.7安装

mysql-5.7.23-linux-glibc2.12-x86_64安装安装环境Centos7_X643、切换目录(自定义)#&gt; cd /usr/local解压(mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz已经复制到/usr/local下)#&gt; tar zxvf mysql-5.7.23-linux-glibc2.12-x86_64...

转载 spring 源码解析

Java的注解机制——Spring自动装配的实现原理https://www.cnblogs.com/adolfmc/p/4383087.htmlSpring系列之IOC(2)——bean获取方法getBean解析https://www.jianshu.com/p/a04421bad1aaSpring AbstractApplicationContext抽象类的refresh()方法–笔记...

原创 spring boot web项目打包成可运行jar

最简单pom.xml配置&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati...

转载 Nginx的负载均衡

一、关于Nginx的负载均衡　　在服务器集群中，Nginx起到一个代理服务器的角色（即反向代理），为了避免单独一个服务器压力过大，将来自用户的请求转发给不同的服务器。详情请查看我的另一篇博客。二、Nginx负载均衡策略　　负载均衡用于从“upstream”模块定义的后端服务器列表中选取一台服务器接受用户的请求。一个最基本的upstream模块是这样的，模块内的server是服务器列表：复制...

原创 redis5.0.3 集群教程

redis5.0.3 集群教程参考redis中文网 http://www.redis.cn/topics/cluster-tutorial.htmlRedis集群介绍Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误....

原创 redis5.0.3 集群教程

redis5.0.3 集群教程参考redis中文网 http://www.redis.cn/topics/cluster-tutorial.htmlRedis集群介绍Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误....

原创 redis5.0.3安装

redis5.0.3安装下载、解压、编译Redis$ wget http://download.redis.io/releases/redis-5.0.3.tar.gz$ tar xzf redis-5.0.3.tar.gz$ cd redis-5.0.3$ make简单启动进入到解压后的&amp;amp;nbsp;src&amp;amp;nbsp;目录，通过如下命令启动Redis:$ src/redis-se...

原创 redis-5.0.3 redis.conf配置详细解析

redis-5.0.3 redis.conf配置详细解析参考地址: https://www.cnblogs.com/kreo/p/4423362.html# Redis configuration file example.## Note that in order to read the configuration file, Redis must be# started with t...

原创 Linux-grep 命令

过滤注释行 , 过滤以 “#” 开头的行 cat redis.conf | grep -v "^#"过滤空行和注释行 cat redis.conf | grep -Ev "^$|^[#;]"

转载 一分钟学会spring注解之@Import注解

今天主要从以下几方面来介绍一下@Import注解@Import注解是什么@Import的三种使用方式1，@Import注解是什么通过导入的方式实现把实例加入springIOC容器中2，@Import的三种使用方式通过查看@Import源码可以发现@Import注解只能注解在类上，以及唯一的参数value上可以配置3种类型的值Configuration，ImportSelector，Im...

原创 git冲突解决--需要手动解决

主分支修改文件内容 echo master &amp;gt; devf1 git add devf1 git commit -m &quot;master update&quot; git push origin master其他分支修改文件内容 git checkout dev echo dev &amp;gt;&amp;gt; devf1 git add devf1 git commit -m &quot;de...

原创 git服务器源码安装

Git安装前环境配置:　　 $ yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel　　$ apt-get install libcurl4-gnutls-dev libexpat1-dev gettext libz-dev libssl-devGit下载源：　　http://git-scm.c...

转载 安装rz/ sz 命令

1.软件安装1）编译安装root 账号登陆后，依次执行以下命令：cd /tmpwget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gztar zxvf lrzsz-0.12.20.tar.gz &amp;amp;amp;amp;&amp;amp;amp;amp; cd lrzsz-0.12.20./configure &amp;amp;amp;amp;&amp;amp;amp;amp; make &

原创 centos7命令

centos7查看端口占用[root@localhost apache-tomcat-dubbo]# netstat -tlnp|grep 80-bash: netstat: 未找到命令centos7.0 没有netstat 和 ifconfig命令问题运行 yum install net-tools 就OK了CentOS7使用firewalld打开关闭防火墙与端口1、firew...

原创 git 命令

删除远程分支中的文件 git rm -r --cached HelloProjet/.idea //删除远程文件夹，但保留本地文件夹 git commit -m &quot;rm .idea&quot; //提交操作，并添加描述 git push origin master //推送远程...

转载 远程项目和本地项目合并的解决方案-idea或本地git测试都行

原文地址https://blog.csdn.net/kiddd_fu/article/details/78247290终极解决方案出现(non-fast-forward)的根本原因是repository已经存在项目且不是你本人提交（我知道是大概率你提交的，但是git只认地址），你commit的项目和远程repo不一样。这时该怎么办呢？很简单，把远端项目拉回本地：git pull然而pu...

原创 线程池线程复用原理

使用了阻塞队列存储任务对象规定了线程池核心线程数每个线程都是循环执行,从任务队列取任务,执行完成再次取任务如果线程总数大于核心线程数,则先执行的线程执行完任务会退出循环,执行结束,线程死亡,直至线程总数小于等于核心线程数结论: 线程并没有标记表示是否可以复用,只是循环从任务队列取任务执行,如果总线程数小于等于核心线程,则当取完任务后,所有线程再次取任务时会处于阻塞状态,也就是线程没有消...

原创 storm总结

Storm用于实时计算，Hadoop用于离线计算。2）Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批处理。3）Storm的数据通过网络传输进来；Hadoop的数据保存在磁盘中。4）Storm与Hadoop的编程模型相似Stormhadoop角色NimbusJobTrackerSupervisorTaskTra...

原创 spring boot启动流程

spring启动类@SpringBootApplicationpublic class Application { public static void main(String[] args) { SpringApplication.run(Application.class, args); }}run方法调用如下方法,最终创建了一个SpringAppli...

原创 hbase

hbase程序内部有zookeeper程序一般配置文件中都会关掉hbase自己的zookeeper程序,使用公共的zookeeper集群

转载 Hadoop切分纯文本时对某一行跨两个分片这种情况的处理

hdfs写入文件需要把大文件分割成多个块，那么有可能会把文件的某一个行分成在不同的块中；这是一个出现分块的时候。还有个就是我的上篇博文中说到的，在mapreduce处理时，当hdfs分块的block大小大于split设置的最大值时也会分割成多个split分片，相当于对块的进一步切割。但是这两种情况出现的概率都很小。下面转自：https://blog.csdn.net/appstore81/art...

原创 map端做join 和 reduce 端的join 对比

reduce 端的join缺点：1.容易发生数据倾斜2.reduce本身并行度不高，性能不高（个数datanode*0.95）3.reducejoin需要结合list，本身存在性能瓶颈map端做join优势：1.mapjoin的并行度高2.可以有效的避免数据倾斜流程：至少一个表读取一行数据，另一个表读取所有数据使用setup先把表数据读取出来，读取到map集合中，key：关联...

原创 技术博客汇总

专注于大数据https://www.iteblog.com/

转载 MySQL的join

MySQL的JOIN（一）：用法https://www.cnblogs.com/fudashi/p/7491039.html

原创 MapReduce : shuffle机制 -- 排序和分发

1多个maptask程序分别读取一部分文件内容2每次读取一行,执行map逻辑,发给缓冲区,缓冲区大小默认100M,3有线程监控缓冲区,当超过80%时,做溢出处理,将缓冲区内容持久化到hadoop文件4溢出文件是分区的,根据reducetask个数决定,5溢出文件内部是有序的,6处理大数据时会有多个溢出文件7将多个溢出文件的每个分区合并(归并排序)后分发给对应的reducetask8r...

原创 单位换算:十亿整数大小换算后为4GB

int 4byte一亿整数大小换算后为400MB十亿整数大小换算后为4GB1 0000 0000 * 4 byte = 4 0000 0000 byte = 4 0000 0000 / (1024*1024 ) MB= 4 0000 0000 / (1048576 )MB= 382MB1KB = 1024 byte1MB = 1024 KB1GB = 1024 MB1TB = 10...

转载 大数据技巧

题目：有一个大文件，里面记录了若干数字，把这些数字进行排序。文件大小远大于内存大小。思路：内存极少的情况下，利用分治策略，利用外存保存中间结果，再用多路归并来排序。（1）按可用内存的大小，把外存上含有n个记录的文件分成若干个长度为L的子文件，把这些子文件依次读入内存，并利用有效的内部排序方法对它们进行排序，再将排序后得到的有序子文件重新写入外存；（2）对这些有序子文件逐趟归并，使其逐渐由小到...

原创 本地运行MapReduce程序时报错问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.

环境: windows10 idea2017 hadoop2.7.7本地运行MapReduce程序时报错:主体信息:java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.解决方案:在project下新建package：org.apache.hadoop.io.nativeio将N...

转载 大数据案例汇总

Hadoop案例（九）流量汇总案例

原创 org.springframework.web.SpringServletContainerInitializer cannot be cast to javax.servlet.ServletCon

Caused by: java.lang.ClassCastException: org.springframework.web.SpringServletContainerInitializer cannot be cast to javax.servlet.ServletContainerInitializer错误解决办法 除了网上常规的添加servlet依赖&lt;!-- 导入j...

原创 ipc.Client: Retrying connect to server: . Already tried 0 time(s);异常

hadoop运行任务时出现如下重试异常,  主要原因是没有开启 yarnstart-yarn.sh即可 开启ResourceManager服务[centos@hd3 /opt/hadoop/etc/hadoop]$ hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 2 2...

转载 优秀文章推荐

ReentrantLock实现原理深入探究

原创 JSP的运行原理和运行过程

JSP的运行原理和运行过程JSP的运行原理WEB容器JSP页面的访问请求时，它将把该访问请求交给JSP引擎去处理。Tomcat中的JSP引擎就是一个Servlet程序，它负责解释和执行JSP页面。每个JSP页面在第一次被访问时，JSP引擎先将它翻译成一个Servlet源程序，接着再把这个Servlet源程序编译成Servlet的class类文件，然后再由WEB容器像调用普通Servl...