机器学习笔记 机器学习(machine learning):用已有的数据训练某种模型,利用模型预测未来Python机器学习库官网https://scikit-learn.org/stable/机器学习分为有监督的机器学习和无监督的机器学习有监督的机器学习:回归、分类无监督的机器学习:聚类、降维numpy数学计算框架scipy物理计算框架pandas数据分析框架matplotlib...
Python学习笔记 Python作者荷兰人Guido von Rossum,1991年第一个Python编译器诞生Linux编译安装Python源码文件:解压Python压缩包yum install gcc 安装编译Python需要的GUN C Compileryum install gcc-c++ 安装编译Python可能会需要的C++编译环境yum install zlib* openssl*...
Storm学习笔记 Storm是个实时的、分布式以及具备高容错的计算系统,进程常驻内存,数据不经过磁盘,在内存中处理,Twitter开源的分布式实时大数据处理框架最早开源于github官网http://storm.apache.orgStorm计算模型:Topology-DAG有向无环图的实现,对于Storm实时计算逻辑的封装即由一系列通过数据流相互关联的 Spout、Bolt所组成的拓扑结构生命周期...
Kafka学习笔记 Kafka消息队列或消息中间件:用于系统之间的解耦合、峰值压力缓存和异步通信,生产者消费者模式Kafka架构:producer:消息生产者consumer:消息消费者broker:Kafka集群的Server节点,负责处理消息读写请求存储消息,broker之间无主从关系topic:消息队列/分类ZooKeeper:协调Kafka broker,存储原数据:consumer的...
Redis学习笔记 Redis是基于开源的BSD协议使用ANSI C编写,基于内存的且支持持久化,高性能的key-value的NoSQL数据库,支持多种数据结构类型例如字符串(string)、散列(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)与范围查询、bitmaps、hyperloglogs和地理空间(geospatial)索引半径查询,支持多种语言例如C、C++、Pyt...
Scala学习笔记 Scala是一门多范式的编程语言,一种类似java的编程语言实现可伸缩的语言并集成面向对象编程和函数式编程的各种特性。Scala语言的特点:面向对象编程、面向函数式编程、静态类型语言(变量的数据类型在编译阶段确定,动态类型语言是变量的数据类型在运行阶段确定如Python)、基于JVM(Scala程序文件.scala需要编译成Java的.class文件在JVM上运行,将.scala编译成的.cl...
Oozie学习笔记 业务流程管理JBPM(Java Business Process Management)是覆盖了业务流程管理、工作流、服务协作等领域的一个开源的、灵活的、易扩展的可执行流程语言框架Oozie是类似JBPM的用于 Hadoop 平台的开源的工作流调度引擎,用来管理Hadoop作业,属于web应用程序,由Oozie client和Oozie Server两个组件构成,Oozie Server运行于...
Impala学习笔记 Google在开源的三篇论文GFS、MapReduce和BigTable后又开源了另外三篇论文Percolator(项目上线名称为Caffeine)、Pregel(图计算)和Dremel,针对Dremel的开源实现有Apache的Drill(较晚于Impala)和Cloudera的ImpalaImpala是Cloudera公司推出提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询...
ZooKeeper学习笔记 ZooKeeper是Google的一个Chubby开源的实现,是Hadoop的分布式协调服务,包含一个简单的原语集,分布式应用程序可以基于ZooKeeper实现同步服务、配置维护和命名服务等,保证分布式数据一致性Leslie Lamport在1990年提出一个基于消息传递的一致性算法Paxos,Google的Chubby和Apache的ZooKeeper都是基于Paxos的理论实现的,Paxo...
Protobuf学习笔记 Google Protocol Buffer(简称Protobuf)是Google的混合语言标准,用于RPC系统和持续数据存储系统,Protocol Buffer是一种轻便高效的结构化数据存储格式,用于结构化数据串行化即序列化,适合做数据存储或RPC数据交换格式,用于通讯协议和数据存储等领域,与语言无关、平台无关和可扩展的序列化结构数据格式,目前提供C++、Java和Python三种语言的API...
Git&GitHub学习笔记 版本控制工具应该具备的功能:协同修改:多人协作修改服务器的同一个文件数据备份:不仅保存目录和文件的当前状态,还能保存每一个提交过的历史状态版本管理:保存每一个版本的文件信息但不保存重复数据以节约存储空间提高运行效率,SVN采用的是增量式管理的方法,而Git采用的是系统快照的方式权限控制:对团队中参与开发的人员进行权限控制,对团队外开发者贡献的代码进行审核(Git独有)历史记录:...
关于使用终端工具远程登录连接Linux服务器失败或者登录成功后自动断开问题 本人问题场景描述:使用的终端工具:XShell终端工具所在系统:Windows10Linux服务器系统:虚拟机CentOS7版本的Linux本人使用终端工具远程登录连接Linux服务器失败或者登录成功后过一小段时间就自动断开(不是手动断开)显示Socket error Event: 32 Error: 10053.本人解决问题的过程:经过网络搜索问题解决方案,找到一些其...
云计算学习笔记 云计算:政府官员认为云计算是超级计算机,一般人认为云计算是在网络上进行计算或者提供服务的网络集群,云计算是服务模式不是新的技术,云计算通过集中管理和服务来降低成本,云计算的特征:自我服务、按使用量计费、弹性架构、可定制化云计算涉及的技术有硬件的虚拟化、网格的计算(计算机集群)、数据中心自动化、Web服务云计算通过提高软硬件使用率、集中管理降低能耗和节约维护人员费用来降低成本云计算的风险...
计算机网络学习笔记 路由器:具有路由表(记录下一跳的IP地址、网关、子网掩码等)和ARP(Address Resolution Protocol地址解析协议)表(记录下一跳的IP地址和物理Mac地址等)可以连接不同网络段,可以转发不同网络段的信息,由于转发不同网络段的消息,下一跳的Mac物理地址会变化,转发下一跳信息的时候会忽略Mac地址交换机:二层设备没有路由表只有类似ARP表的数据表,不需要配置IP地址,只负...
Vi学习笔记 宏指令(Macros):qa=开始在寄存器A中记录宏q=结束记录@a=寄存器A中的重放宏多文件(Multi-File)::e文件名=编辑一个新的缓冲区中的文件:bn =转到下一个缓冲区:bd=删除缓冲器(关闭文件):sp fn=打开新缓冲区和拆分窗口中的文件窗口命令(ctrl-w - window commands):ctrl-w s =分裂窗口...
Struts2学习笔记 Struts2框架是在struts1和webwork基础上的web框架Struts2的配置文件名称为struts.xml,文件放在src目录下Strut.xml一般配置格式:<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE struts PUBLIC "-//Apache Software Found...
Struts1学习笔记 struts(结构)是一个开源的web框架(frameset)优点:程序更加规范,开发效率提高,程序可读性增加,程序可维护性增加缺点:form表单有点不好,action是单态(影响网站并发性的处理),框架提过程序规范,约束程序的自由struts-config.xml是struts的一个核心文件struts组件一般包含:ActionServlet(总控制器),ActionForm(存...
SSH学习笔记struts(1.3.8)+spring(2.5.6)+hibernate(3.3.1) ssh(struts+spring+hibernate)框架组合一般步骤顺序:1.创建web项目引入相应的Spring开发包,创建Spring配置文件applicationContext.xml文件,测试Spring配置是否成功2.在项目中引入相应的hibernate开发包,hibernate配置文件hibernate.cfg.xml文件、对象映射文件*.hbm.xml文件以及Session...
Spring学习笔记 Spring是容器框架,用于配置管理bean(java中的任何一个对象)和维护bean之间关系的框架,配置管理项目的各个组件spring的核心配置文件applicationContext.xml一般放在src目录下,配置时需要引入指定格式的xsd文件,applicationContext.xml文件的一般格式:<?xml version="1.0" encoding="utf-8"?...
SpringMVC学习笔记 SpringMVC通过使用MVC注解的方式将POJO类成为请求控制器不需要实现接口,支持REST风格的URL请求,采用松散耦合可插拔组件结构比其他MVC框架更具扩展性和灵活性SpringMVC在web.xml文件中的配置一般格式:<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w...