qq_42918433的博客

转载 for列表渲染

开发环境版本。

转载 检查数据类型

print(type(b)) # – 浮点型。print(type(f)) # – 元组。print(type(d)) # – 字符串。print(type(e)) # – 列表。print(type(g)) # – 字典。print(type(a)) # – 整型。

转载 大数据基础

大数据框架做的是基础的数据的存储和统计计算，但是如果需要从大量的是数据中发现或挖掘规律，需要使用机器学习方法，通过机器学习算法结合大量数据，构建机器学习模型，通过模型对现实事件作出预测和判断。* Storm-----天猫双11，实时统计销售总额。* 数据量大：TB-PB-ZB HDFS存储。* 数据的增长的速度快：TB-PB-ZB。* 数据的处理速度快：大数据 框架解决。* SparkMllib----机器学习。* SparkGraphX----图计算。* Spark-----一站式数据分析平台。

转载 命令行参数使用

tf.app.flags.DEFINE_string(“model_dir”, " ", “模型保存的路径+模型名字”)

转载 增加命名空间

矩阵运算 X（100， 1）* （1, 1）= y_true(100, 1)# 1）准备好数据集：y = 0.8x + 0.7 100个样本。# 4）确定损失函数（预测值与真实值之间的误差）-均方误差。# y = W·X + b，目标：求出权重W和偏置b。# 5）梯度下降优化损失：需要指定学习率（超参数）# W2 = W1 - 学习率*(方向)# b2 = b1 - 学习率*(方向)# 特征值X, 目标值y_true。# 3）随机初始化W1和b1。

转载 kafka 的好处

性能：kafka对于发布和定于消息都具有高吞吐量。及时存储了许多TB的消息，他也爆出稳定的性能。耐用性：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。可扩展性：kafka消息传递系统轻松缩放，无需停机。kafka非常快：保证零停机和零数据丢失。可靠性：分布式的，分区，复制和容错的。

转载 kafka简介

１.3，apache kafka 是一个分布式发布-订阅消息系统apache kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使能够将消息从一个端点传递到另一个端点，kafka适合离线和在线消息消费。kafka是最初由linkedin公司开发的，使用 scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。kafka目前支持多种客户端的语言：java，python、c++、php等.

转载 网络爬虫介绍

网络爬虫介绍在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。网络爬虫（Web crawler）也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，可以自动采集所有其能够访问到的页面内容，以获取相关数据。从功能上来讲，爬虫一般分为数据采集，

原创 前端技术架构

前端技术架构element UI ,Node.js/NPM/AXIOS/Mock.js/vscode/vue.js/基于muxt/ES6/easymock/swagger/webpack以Node.js为核心的Vue.js前端技术生态架构

转载 Git的工作流程

转载 四大组件PageProcessor

转载 交友微服务

转载 Eureka

转载 SpringCloud介绍

转载 RabbitMQ介绍

转载 tf实现一个加法运算

转载 分布式主键封装

转载 三个环境配置

转载 mysql的环境配置

转载 Weex的标签

转载 前端工程结构

转载 今日之目标

转载 接口通用请求和响应

转载 网络爬虫

1.可以实现搜索引擎我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。2.大数据时代，可以让我们获取更多的数据源。在进行大数据分析或者进行数据挖掘的时候，需要有数据源进行分析。我们可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自

转载 Dubbo 用到哪些设计模式

Dubbo 用到哪些设计模式？工厂模式Provider 在 export 服务时，会调用 ServiceConfig 的 export 方法。ServiceConfig中有个字段：工厂模式Provider 在 export 服务时，会调用 ServiceConfig 的 export 方法。ServiceConfig中有个字段：Dubbo 里有很多这种代码。这也是一种工厂模式，只是实现类的获取采用了 JDKSPI 的机制。这么实现的优点是可扩展性强，想要扩展实现，只需要在 classpath下增加个文件就

转载 ZooKeeper问答

ZooKeeper提供了什么？文件系统通知机制说说ZooKeeper文件系统Zookeeper提供一个多层级的节点命名空间(节点称为 znode)。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种特性使得 Zookeeper不能用于存放大量的数据,每个节点的存放数据上限为1M。说说ZAB协议？ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持

转载 Velocity

Velocity是一个基于 java 的模板引擎（template engine）。它允许任何人仅仅简单的使用模板语言（template language）来引用由 java 代码定义的对象。Velocity 应用于web 开发时，界面设计人员可以和 java 程序开发人员同步开发一个遵循 MVC 架构的 web 站点，也就是说，页面设计人员可以只关注页面的显示效果，而由 java 程序开发人员关注业务逻辑编码。Velocity 将 java 代码从 web 页面中分离出来。Velocity 的能力远不止

转载 IK Analyzer

IK Analyzer 是一个开源的,基于java 语言开发的轻量级的中文分词工具包。从2006年12 月推出1.0 版开始,IKAnalyzer 已经推出了4 个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从 3.0版本开始,IK发展为面向 Java的公用分词组件,独立于 Lucene项目,同时提供了对 Lucene的默认优化实现。在 2012版本中,IK实现了简单的分词歧义排除算法,标志着 IK分词器从单纯的词典分词向模拟语义分词衍化。...

转载 人工智能的三次浪潮

1956 Artificial Intelligence提出□1950-1970 符号主义流派：专家系统占主导地位1950：图灵设计国际象棋程序1962：IBM 的跳棋程序战胜人类高手（人工智能第一次浪潮）□1980-2000统计主义流派：主要用统计模型解决问题1993： SVM模型1997：IBM 深蓝战胜象棋选手卡斯帕罗夫（人工智能第二次浪潮）□2010-至今神经网络、深度学习、大数据流派2006 DNN（深度神经网络）2016：Google AlphaGO 战胜围棋选手李世石（人工智能第

转载 Netty

物联网数据上层网络通信协议虽然在应用层上有多种不同的体现，但其在传输层及下层网络中基本上是遵从TCP/IP 网络协议的。因而用来接收物联网数据的服务可以参考一般的网络通信服务。Netty 由于性能优越、安全性高、使用简便、社区资源丰富等特点使得其从诸多网络通信库中脱颖而出，成为高性能的通信领域的首选框架。当前，Netty 已成功应用在诸多流行项目中，如Cassandra、Spark、Hadoop等大数据领域；Dubbo、gRPC 等分布式通信框架均有 Netty 的身影。在物联网相关领域，Duan 等人

转载 ZooKeeper

ZooKeeper特点ZooKeeper 是为用户提供配置管理、 分组和命名服务和同步管理的一个开源协调服务程序。 用户可以使用ZooKeeper 提供的接口, 方便地实现一致性、 组管理、 leader 选举及某些协议。 其特点为:简单化ZooKeeper 通过一种类似文件系统的层次命名空间使分布式进程相互协调工作。 这些命名空间由一系列数据寄存器 (znodes) 组成, 类似文件系统中的文件和文件夹, 但znodes 的数据是存储在内存中的, 有着高吞吐和低延迟的特性。 ZooKeeper 实

转载 微服务

随着信息技术的迅猛发展，微服务越来越受到从业者的关注。互联网用户更加关注应用软件的用户体验度，对软件服务商来说，一方面要保证软件响应的灵敏度，另一方面又必须保证软件功能的模块化、定制化，降低模块之间的耦合度。传统的单体式架构已不能满足日益增长的复杂需求。而微服务将业务系统彻底组件化、服务化的思想让系统建设者有了更多选择。微服务的核心思想是将整个项目拆分后，形成多个相互独立的服务，这些服务之间仍然保持着关联，可通过轻量级的通信协议交互信息，支持可分布式部署，并运行在独立的Docker容器中。正是这种设计思想

转载 Dubbo 支持哪些协议

Dubbo 支持哪些协议，它们的优缺点有哪些？Dubbo： 单一长连接和 NIO 异步通讯，适合大并发小数据量的服务调用，以及消费者远大于提供者。传输协议 TCP，异步 Hessian 序列化。Dubbo推荐使用dubbo协议。RMI： 采用 JDK 标准的 RMI 协议实现，传输参数和返回参数对象需要实现 Serializable 接口，使用 Java 标准序列化机制，使用阻塞式短连接，传输数据包大小混合，消费者和提供者个数差不多，可传文件，传输协议 TCP。 多个短连接 TCP 协议传输，同步

转载 Dubbo介绍

Dubbo是阿里巴巴开源的分布式服务框架，Dubbo是阿里巴巴内部的SOA服务化治 理方案的核心框架，每天为2000+个服务提供3,000,000,000+次访问量支持，并被广泛 应用于阿里巴巴集团的各成员站点。Dubbo自2011年开源后，已被许多非阿里系公司使 用鸟。它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合 （或者最大限度地松耦合），主要分为以下角色如图所示。图： dubbo服务框架Provider：暴露接口的服务提供者Consumer：调用远程服务的服务消费者

转载 Zookeeper

Zookeeper是Apache软件基金会的一个软件项目，提供类似于文件系统目录的节 点树，解决分布式应用中的数据管理问题。Zookeeper为写入分布式应用程序提供服务，常见的服务有命名服务、对有关的 配置进行管理、对集群进行管理、锁定和同步服务和高度可靠的数据注册表。Zookeeper能够用在大型的、分布式的系统中，某一个节点的出现错误并不影响 Zookeeper的正常运行。...

转载 Spring MVC的主要组件？

Spring MVC的主要组件？（1）前端控制器 DispatcherServlet（不需要程序员开发）作用：接收请求、响应结果，相当于转发器，有了DispatcherServlet 就减少了其它组件之间的耦合度。（2）处理器映射器HandlerMapping（不需要程序员开发）作用：根据请求的URL来查找Handler（3）处理器适配器HandlerAdapter注意：在编写Handler的时候要按照HandlerAdapter要求的规则去编写，这样适配器HandlerAdapter才可

转载 Bootstrap前端开发框架

在前端开发框架方面，我们选择了 Bootstrap框架。Bootstrap前端开发框架 由Twitter公司的设计师Jacob Thornton与Mark Otto合作开发，由于其简洁美观 的特点被业界广泛使用。Bootstrap框架基于HTML、CSS、JavaScript等前端开 发语言，主要由动态CSS语言Less写成，提供了标准的HTML和CSS规范， 可满足各种Web页面的设计需求。Bootstrap框架被推出后受到业界广泛开发者 的追捧，成为世界最大代码平台Github上最热门的开源项目之一的，

转载 项目架构微服务化

近年来，项目架构微服务化成为了当前互联网的一大热点，那么什么是微服务呢？微服务，全称微服务架构，它是一项在云中部署应用和服务的新技术，是一种新型的架构模式。它提倡的是把单一的项目架构拆分成多个单体模块，每个模块可以独立在自己的程序中运行，并对外暴露接口，对外提供服务；服务与服务之间采用轻量级的通信机制（一般是基于 HTTP 协议的 RESTfulAPI）进行通信；根据业务模块的不同，调用不同的服务机制，来完成用户的需求；微服务主要有以下几个特征：（1）通过服务实现组件化传统的项目架构中组件是和应用一起运

转载 大数据问答

1.1.下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker答案 C datanode1.2.HDfS 中的 block 默认保存几份？a)3 份 b)2 份 c)1 份 d)不确定答案 A 默认 3 份1.3.下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracke

转载 Redis高性能特性

Redis英文名全Remote Dictionnary Server是一个使用ANSI C语言编写、基于Key-value键值对的数据库存储系统。同时它还支持网络通信、数据持久化、并拥有诸如字符串(string)、链表(list)、集合(set)、有序集合(zset)和哈希类型(hash)等丰富的数据结构，每种数据结构还对应了一种或多种数据类型的存储结构。Redis 每种数据都可以进行push/pop、并集、交集等一系列原子性操作，并提供多种语言的API，是一个高性能的非关系型开源存储系统。Redis的高性