系统架构
King-Long
天赋决定上限 努力决定下限;
格局决定结局 态度决定高度;
展开
-
产业互联网技术平台架构
#产业互联网#技术平台架构#技术架构##大数据##人工智能#原创 2019-10-29 18:04:40 · 1498 阅读 · 0 评论 -
大数据推荐系统架构
推荐系统介绍当下,个性化推荐成了互联网产品的标配。但是,人们对推荐该如何来做,也就是推荐技术本身,还不甚了解。为此,好学的你肯定在收藏着朋友圈里流传的相关文章,转发着微博上的相关讨论话题,甚至还会不断奔走在各种大小行业会议之间,听着大厂职工们讲那些干货。我知道,这样碎片化的吸收,增加了知识的同时,也增加了焦虑。因为技术的不平等广泛存在于业界内,推荐系统也不例外。推荐系统从搜索引擎借鉴了不少技术...转载 2018-11-20 16:02:38 · 2056 阅读 · 0 评论 -
修改HBase或者Spark默认的8080端口
我们知道8080端口是很多web应用的默认端口,如果一台机器上两个服务都用8080就会引起冲突,同时8080也容易被黑客攻击的端口。因此我们希望可以修改hbase或者spark的默认web ui访问的8080端口。修改HBase Web UI默认的8080端口修改HBASE_HOME下的conf目录之下的hbase-site.xml文件添加hbase.rest.port属性标签,然后重启...原创 2018-11-21 15:10:45 · 3706 阅读 · 0 评论 -
大数据晋级之路(7)Storm安装及使用
一、Apache Storm简介Apache Storm简介Storm是一个分布式的,可靠的,容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt, bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过来的数据。Storm组件在Storm集群中...原创 2018-11-21 17:10:14 · 470 阅读 · 0 评论 -
大数据晋级之路(8)Scala,Spark分布式安装
环境准备 三台Centos或虚拟机环境 Hadoop全分布式已安装主要使用HDFS环境。Hadoop完全分布式安装 Scala安装Scala安装Scala下载进入到目标目录/hadoop,下载scala rpm安装包并安装cd /hadoop/wget https://downloads.lightbend.com/scala/2.12.7/scala-2.1...原创 2018-11-22 14:53:10 · 600 阅读 · 0 评论 -
几张图就能轻松掌握Git常用命令和原理
Git介绍本质上,Git是一套内容寻址(content-addressable)文件系统,而和我们直接接触的Git界面,只不过是封装在其之上的一个应用层。这个关系颇有点类似于计算机网络中应用层和下属层的关系。在Git中,那些和应用层相关的命令(也就是我们最常用的命令,如git commit、 git push等),我们称之为porcelain命令(瓷器之意,意为成品、高级命令);而和底层相关的命...原创 2018-12-26 17:43:51 · 426 阅读 · 2 评论 -
Elasticsearch-基础介绍及索引原理分析
最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方,望指明,一起探讨,学习,进步。介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建...转载 2018-12-17 16:54:43 · 360 阅读 · 0 评论 -
Redis学习(1):阿里云Redis开发规范
一、键值设计1.key名设计(1)【建议】: 可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:idugc:video:1(2)【建议】: 简洁性保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:user:{uid}:friends:messages:{mid}简化为u:{uid}原创 2019-01-02 18:57:03 · 1136 阅读 · 2 评论 -
Redis学习(2):Jedis使用Redis示例
一、前提已经默认安装好redis server。二、创建一个maven项目本文使用Junit运行测试Redis例子,因此需要引入如下jar包<dependency> <groupId>junit</groupId> &l原创 2019-01-07 19:23:25 · 366 阅读 · 0 评论 -
解析Java框架中entity层,mapper层,service层,controller各层作用
一、entity层别名: model层 ,domain层用途: 用于存放我们的实体类,与数据库中的属性值基本保持一致,实现set和get的方法。例子:user表的实体userpublic class User { /** * 用户id */ @Id @GeneratedValue(strategy = GenerationType.IDENTIT...原创 2019-01-08 18:09:12 · 68544 阅读 · 35 评论 -
JAVA设计模式总结之23种设计模式
一、什么是设计模式 设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。...转载 2019-02-17 21:09:50 · 1296 阅读 · 1 评论 -
Java设计模式六大设计原则
从今年的七月份开始学习设计模式到9月底,设计模式全部学完了,在学习期间,总共过了两篇;第一篇看完设计模式后,感觉只是脑子里面有印象但无法言语。于是决定在看一篇,到9月份第二篇设计模式总于看完了,这一篇看完,脑子里面已经能够对绝大多数的设计模式能够说出其核心思想且可以画出类图也知道应用场景,算是一个进步,但可能还不能够特别熟练的使用,可能需要多多巩固和强化使用才能够完全理解设计模式的精髓所在。学习期...转载 2019-02-17 21:14:48 · 522 阅读 · 0 评论 -
大数据晋级之路(1)Centos7上搭建全分布式Hadoop集群
本文介绍搭建一个Namenode两个DataNode的Hadoop全分布式集群的全部步骤及方法。具体环境如下:环境准备3个Centos7虚拟机或者3个在一个局域网内的实际Centos7机器,机器上已安装JDK1.8,至于不会安装Centos7或者JDK1.8的同学可以自行网上百度教程,不为此文重点;关闭禁用防火墙,主要是方便hadoop集群内部相互之间可以顺利访问,方便于web端通过...原创 2018-11-06 18:04:10 · 1889 阅读 · 0 评论 -
Kubectl基本操作命令
创建对象通过yaml文件创建:kubectl create -f xxx.yaml (不建议使用,无法更新,必须先delete)kubectl apply -f xxx.yaml (创建+更新,可以重复使用)删除对象通过yaml文件删除:kubectl delete -f xxx.yaml查看kube-system namespace下面的pod/svc/deployment 等等...原创 2018-10-30 17:17:33 · 30717 阅读 · 0 评论 -
Android架构重构
转自:http://keeganlee.me/post/architecture/20160303去年10月底换到了新公司,做移动研发组的负责人,刚开始接手android项目时,发现该项目真的是一团糟。首先是其架构,是按功能模块进行划分的,本来按模块划分也挺好的,可是,他却分得太细,总共分为了17个模块,而好几个模块也就只有两三个类而已。但应用本身其实比较简单,要按功能模块来分的话,最多五转载 2017-06-12 00:38:30 · 303 阅读 · 0 评论 -
dubbo zookeeper 入门示例
原帖 http://www.cnblogs.com/huqianliang/p/5664440.htmlAlibaba有好几个分布式框架,主要有:进行远程调用(类似于RMI的这种远程调用)的(dubbo、hsf),jms消息服务(napoli、notify),KV数据库(tair)等。这个框架/工具/产品在实现的时候,都考虑到了容灾,扩展,负载均衡,于是出现一个配置中心(ConfigS转载 2017-06-12 23:33:49 · 750 阅读 · 0 评论 -
系统架构设计模块拆分维度和原则
在我们从零开始做一个新系统的时候,会首先进行系统功能模块架构设计,那么是直接做一个大而全的垂直的MVC系统,使用一个war包进行发布管理,还是需要按一些规则进行模块拆分,设计成SOA或者微服务系统比较好呢?这个笔者认为需要依据项目具有什么样的人力物力条件以及项目需要支撑多少用户量和交易量为基础。一个好的系统设计应该能够满足解决当前的需求和问题,把控实现和进度风险,预测和规划未来,避免过度设计,在上原创 2017-07-07 19:24:14 · 7761 阅读 · 0 评论 -
tigase7.1.0 服务器在centos上搭建spark测试
1.tigase-server-7.1.0下载去tigase官网网址https://projects.tigase.org/projects/tigase-server/files下载tigase-server-7.1.0-b4379-dist-max.tar.gz;2.解压tar.gz文件tar -zxvf tigase-server-7.1.0-b4379-dist-max原创 2017-08-08 23:16:42 · 3002 阅读 · 1 评论 -
Centos下安装mysql及常用mysql命令总结
1.使用yum命令安装mysql[html] view plaincopy[root@bogon ~]# yum -y install mysql-server 2.设置开机启动[html] view plaincopy[root@bogon ~]#原创 2017-07-25 21:08:32 · 519 阅读 · 0 评论 -
Centos下安装Nginx
一.Nginx下载使用SSH登录进入Centos服务器1.windows下直接下载当前stable稳定版nginx-1.12.1.tar.gz包网址:http://nginx.org/en/download.html然后使用rz命令上传到想要上传的文件夹cd /mkdir nginxrz 选择windows下载好的nginx-1.12.1.tar.gz上传完成2.使原创 2017-09-14 19:32:32 · 315 阅读 · 0 评论 -
详解nohup和& 区别
nohup一、【解释】 不挂断地运行命令。no hangup的缩写,意即“不挂断”。一般理解&记住一个命令最简单的方法是记住它是什么缩写,就自然理解了这个命令。nohup运行由 Command参数和任何相关的 Arg参数指定的命令,忽略所有挂断(SIGHUP)信号; 二、【语法】 nohup Command [ Arg ... ] [ & ]n...原创 2017-11-29 16:57:38 · 35017 阅读 · 4 评论 -
SpringBoot application.properties和application.yml配置详解
#SPRING CONFIG(ConfigFileApplicationListener) spring.config.name =#配置文件名(默认 为 'application' ) spring.config.location =#配置文件的位置 # 多环境配置文件激活属性spring.profiles.active=dev #加载application-dev...转载 2018-09-11 18:52:50 · 11961 阅读 · 0 评论 -
Linux下set,env,export,source,exec深入解析
你是否被下面的几个问题困扰过,甚至至今无法真正理解?什么是export,什么时候用export,为什么有时用了export还要source? 为什么用env来设置环境变量,不用export,有什么好处? source和exec有什么区别?本文试图通过普及unix进程、环境变量等概念,让读者真真理解这些shell命令的本质,知道这些命令的使用场合。首先,先对这些命令做一个解释,如果...转载 2018-10-12 19:36:28 · 1797 阅读 · 0 评论 -
kubernetes dashboard创建后无法打开页面问题解决方法
错误现象:当我们创建完k8s dashboard,试图访问web ui界面的时候如:dashboard访问地址;http://172.16.16.15:8080/ui抛出如下错误:Error: 'dial tcp 172.16.59.2:9090: getsockopt: connection timed out'Trying to reach: 'http://172.16....原创 2018-10-25 20:04:48 · 31651 阅读 · 2 评论 -
子网掩码,可变长子网掩码,ABC类IP网络地址详解
子网掩码定义子网掩码(subnet mask)又叫网络掩码、地址掩码、子网络遮罩,它是一种用来指明一个IP地址的哪些位标识的是主机所在的子网,以及哪些位标识的是主机的位掩码。子网掩码不能单独存在,它必须结合IP地址一起使用。子网掩码只有一个作用,就是将某个IP地址划分成网络地址和主机地址两部分。子网掩码(subnet mask)是每个使用互联网的人必须要掌握的基础知识,只有掌握它,才能够真正...原创 2018-10-30 15:55:12 · 13395 阅读 · 0 评论 -
Android&iOSApp架构总结
原文链接:http://keeganlee.me/post/architecture/20160303架构因人而异,不同的架构师大多会有不同的看法;架构也因项目而异,不同的项目需求不同,相应的架构也会不同。然而,有些东西还是通用的,是所有架构师都需要考虑的,也是所有项目都会有的需求,比如API如何设计?架构如何分层?开发环境和生产环境如何分离?这几年,我负责研发过的App,有餐饮类的、转载 2017-06-12 00:36:15 · 2218 阅读 · 0 评论