互联网的修罗场

#产业互联网#技术平台架构#技术架构##大数据##人工智能#

从今年的七月份开始学习设计模式到9月底，设计模式全部学完了，在学习期间，总共过了两篇；第一篇看完设计模式后，感觉只是脑子里面有印象但无法言语。于是决定在看一篇，到9月份第二篇设计模式总于看完了，这一篇看完，脑子里面已经能够对绝大多数的设计模式能够说出其核心思想且可以画出类图也知道应用场景，算是一个进步，但可能还不能够特别熟练的使用，可能需要多多巩固和强化使用才能够完全理解设计模式的精髓所在。学习期...

一、什么是设计模式                                                                                                                                       设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。...

一、键值设计1.key名设计(1)【建议】: 可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:idugc:video:1(2)【建议】: 简洁性保证语义的前提下，控制key的长度，当key较多时，内存占用也不容忽视，例如：user:{uid}:friends:messages:{mid}简化为u:{uid}

推荐算法具有非常多的应用场景和商业价值，因此对推荐算法值得好好研究。推荐算法种类很多，但是目前应用最广泛的应该是协同过滤类别的推荐算法，本文就对协同过滤类别的推荐算法做一个概括总结，后续也会对一些典型的协同过滤推荐算法做原理总结。1. 推荐算法概述　　　　推荐算法是非常古老的，在机器学习还没有兴起的时候就有需求和应用了。概括来说，可以分为以下5种：　　　　1）基于内容的推荐：这一类一般...

本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。一、系统概览推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取不同内容类型的特征做好推荐。第二个维度是用...

环境准备 三台Centos或虚拟机环境 Hadoop全分布式已安装主要使用HDFS环境。Hadoop完全分布式安装 Scala安装Scala安装Scala下载进入到目标目录/hadoop,下载scala rpm安装包并安装cd /hadoop/wget https://downloads.lightbend.com/scala/2.12.7/scala-2.1...

 一、Apache Storm简介Apache Storm简介Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过来的数据。Storm组件在Storm集群中...

大数据框架：Spark vs Hadoop vs Storm目录Hadoop Spark Storm 大数据时代，TB级甚至PB级数据已经超过单机尺度的数据处理，分布式处理系统应运而生。知识预热「专治不明觉厉」之“大数据”； 大数据生态圈及其技术栈；关于大数据的四大特征（4V）海量的数据规模（Volume）：Quantifiable（可量化） 高速的数据流转...

基本概念机架：HDFS集群，由分布在多个机架上的大量DataNode组成，不同机架之间节点通过交换机通信，HDFS通过机架感知策略，使NameNode能够确定每个DataNode所属的机架ID，使用副本存放策略，来改进数据的可靠性、可用性和网络带宽的利用率。数据块(block)：HDFS最基本的存储单元，默认为64M，用户可以自行设置大小。元数据：指HDFS文件系统中，文件和目录的属性信息。...

MapReduce验证本地创建一个test.txt文件vim test.txt输入一些英文句子如下：Beijing is the capital of ChinaI love BeijingI love China上传test.txt到hdfs系统的 ouput目录hdfs dfs -mkdir /userhdfs dfs -mkdir /user/inputhdf...

Hadoop有时会有unhealthy Node不健康的非Active节点存产生，具体错误内容如下。错误内容-== log-dirs usable space is below configured utilization percentage/no more usable space [ /hadoop/hadoop-2.9.0/logs/userlogs : used space abov...

本文介绍搭建一个Namenode两个DataNode的Hadoop全分布式集群的全部步骤及方法。具体环境如下：环境准备3个Centos7虚拟机或者3个在一个局域网内的实际Centos7机器，机器上已安装JDK1.8，至于不会安装Centos7或者JDK1.8的同学可以自行网上百度教程，不为此文重点；关闭禁用防火墙，主要是方便hadoop集群内部相互之间可以顺利访问，方便于web端通过...

在我们从零开始做一个新系统的时候，会首先进行系统功能模块架构设计，那么是直接做一个大而全的垂直的MVC系统，使用一个war包进行发布管理，还是需要按一些规则进行模块拆分，设计成SOA或者微服务系统比较好呢？这个笔者认为需要依据项目具有什么样的人力物力条件以及项目需要支撑多少用户量和交易量为基础。一个好的系统设计应该能够满足解决当前的需求和问题，把控实现和进度风险，预测和规划未来，避免过度设计，在上

最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch的基础理论知识，整理了一下，希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建...

https://www.cnblogs.com/delgyd/p/elk.htmlELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台 我在做ELK日志平台开始之初选择为ELK+Redis直接构建，在采集nginx日志时一切正常，当我采集我司业务报文日志类后，logstash会报大量的redis connect timeout。换成redis cluster后...

ELKElasticSearch介绍此部分转自（https://www.cnblogs.com/wuchanming/p/6671259.html）在 《Elasticsearch : The Definitive Guide》里，这样介绍Elasticsearch，总的来说，Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合...