- 博客(26)
- 资源 (3)
- 收藏
- 关注
原创 人工智能_fly_03_数学知识之 理解什么是线性回归
理解什么是线性回归 线性回归也被称为最小二乘法回归(Linear Regression, also called Ordinary Least-Squares (OLS) Regression)。它的数学模型是这样的:y = a+ b* x+e其中,a 被称为常数项或截距;b 被称为模型的回归系数或斜率;e 为误差项。a 和 b 是模型的参数。当然,模型的参数只能从样本数据中估计出来:y'= a' + b'* x我们的目标是选择合适的参数,让这一线性模型最好地拟合观测值。拟合程度..
2020-05-17 17:02:44 378
原创 人工智能_fly_02_matplotlib绘图
今天记录下如何用python画散点图、线性回归图、含置信区间的线性回归图以及双变量曲线图,下面是所有的代码:# -*- coding: utf-8 -*-"""Created on Fri May 24 22:20:30 2013@author: Administrator"""import pandas as pdimport urllib#获取网格数据import shutil #文件操作import zipfile #文件压缩import osimport warning
2020-05-17 16:47:46 285
原创 数仓_维度建模与缓慢变化维
一、维度建模 维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等属性。下面是两个常见的维度表结构:产品维度表:Prod_id, Product_Name, Categ...
2020-04-22 21:07:04 655
原创 人工智能_fly_01_matplotlib绘图
# -*- coding: utf-8 -*-"""Created on Mon Apr 20 19:12:43 2020@author: Administrator"""import numpy as npimport matplotlib.pyplot as pltfrom pylab import *#x = np.arange(0.,10,0.2)#y1 = np...
2020-04-22 20:58:37 242
原创 go语言编程之指针
package mainimport "fmt"func main() { /** 1.特点:(最大特点)不能运算,不同于c语言 在go语言中如果对指针进行运算会报错: nvalid operation:p++(non-numeric type *int) 2. 声明指针,*T是指针变量的类型,它指向T类型的值。。 var 指针变量名 *指针类型...
2019-01-05 21:57:08 217
原创 go语言编程之递归
package mainimport "fmt"func main() { /** 递归:可以简单理解为自己调自己 优点:逻辑比循环更清晰 注意:使用递归函数要注意防止栈溢出。在计算机中,函数调用是通过栈(stack)这种数据 结构实现的。每当进入一个函数调用,栈就会加一层栈。每当函数返回,栈就会减少一层。 由于栈的大小不是无限的,所以,递归调用的次数...
2019-01-03 22:24:50 259
原创 go语言编程之——可变参数
package mainimport "fmt"func main() { ////1. 传n个成绩 //sum , avg , count := getScore(12,46,17,79,100) //fmt.Printf("学生公用%d门成绩,总成绩为%.2f ,平均成绩为%.2f", count, sum ,avg) ////2.传入一个切片 //sc...
2019-01-03 22:23:45 256
原创 go语言编程之——闭包(介绍定义+两种写法)
一 、定义:闭包:要有一个需要保护的局部变量+一个匿名函数二、闭包的两种写法:1. 在主函数之外定义一个闭包函数,闭包函数的格式为: func 函数名 func() int{ res = func() int{ ......} return res}举例一:package mainimport "fmt"func mai...
2019-01-02 22:49:52 563
原创 Gson在解析java数据格式的三种范例
Gson是谷歌提供的一个开源库,用来解析json格式的数据非常好用。如果用maven进行项目管理的话,可以在pom.xml中引入如下依赖:<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> ...
2018-03-26 12:13:46 1554
转载 HashMap与HashTable详解
一、HashMap简介 HashMap是基于哈希表实现的,每一个元素是一个key-value对,其内部通过单链表解决冲突问题,容量不足(超过了阀值)时,同样会自动增长。 HashMap是非线程安全的,只是用于单线程环境下,多线程环境下可以采用concurrent并发包下的concurrentHashMap。 HashMap 实现了Serializable接口,因此它支...
2018-03-07 22:15:25 722
转载 Yarn各组件详细原理
运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心,构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度,每个应用程序由一个ApplicationMaster管理,以Container的形式请求每个任务的计算资源。Container由Res...
2018-03-07 21:41:20 1143
转载 消息队列的使用场景
一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削...
2018-03-02 08:40:41 137
原创 Centos07下安装redis-4.0.8及安装过程中的常见问题解答
redis-4.0.8的安装过程请在root账户下进行安装。。。1.1. 上传用工具上传redis安装文件到/usr/local下1.2. 解压su – rootcd /usr/localtar –zxvf tar -zxvf redis-2.8.19.tar.gz1.3. 编译 cd redis-4.0.8make1.4. 编译过程问题解答1.make:警告:检测到时钟错误。您的创...
2018-02-08 17:01:35 764 4
原创 Hbase全分布式安装( Adanced-Fully Distributed)--最接近生产环境
即将构建的集群节点情况说明,需要三台server(centos01,centos02,centos03),分别代表节点1,2,3.HBase是在hadoop和zookeeper的前提下搭建的,所以必须提前在三台server上装好hadoop和zookeeper。集群包括:1个primary Master ,1个back Master (hbase设一个主Master与一个备Maste...
2018-02-07 22:42:35 286
原创 单机版Hbase的安装与使用
当你需要随机,实时读取大型数据的时候,用HBASE.这个项目的目的就在于处理超大量的表格:它能建立在普通硬件集群上读取十亿行甚至更多行的数据。这是以谷歌的Bigtable为原型的一个开源、有版本、非关系型的数据库,正如Bigtable利用了谷歌文件系统提供的分布式数据存储一样,Hbase也同样是建立在hadoop和hdfs之上才可用。下载地址:http://www.apache.org/dyn
2018-02-07 12:31:49 832 1
原创 MapReduce运用之粉丝互粉
项目名称:粉丝互粉项目说明:如下所示,分别给出微博用户信息和其粉丝信息,如第一行:“:”左边的代表用户A,右边是关注A的粉丝。用户和粉丝之间是单向关系,也即E是A的粉丝,但是A不一定是E的粉丝。项目需求:用mapreduce找出两两之间有共同粉丝的用户对,及他俩的共同好友。如:A-B C,E A:B,C,D,F,E,O B:A,C,
2018-02-03 11:36:15 710
原创 Linux中脚本(script.sh)的运行
1.认识脚本:下面是个简单的脚本[root@centos06 tmp]# vi script.sh #!/bin/bash #这行是shebang,shebang是个文本行,其中#!位于解释器路径之前,/bin/bash 是解释器命令路径 echo 'helle this is the first script!' #我的脚本命令:向控制台输出一句话:helle
2018-02-02 08:36:34 1656
转载 使用Eclipse搭建Hadoop编程环境
在前人的基础上,进行总结学习,发现bug,修改bug。系统平台:Ubuntu14.04TLS(64位)Hadoop环境:Hadoop2.7.1Eclipse:Neon.2 Release(4.6.2)Eclipse插件:hadoop-eclipse-plugin-2.7.1.jar一.编译环境搭建1.在eclipse上安装Hadoop插件把下载好的had
2018-02-01 21:08:07 528
原创 Azkaban3X的编译安装与使用(确定可用)--提供已经编译好的工具供大家使用
一、Azkaban3X的编译及安装使用(我这里配置的是two servermode模式,exec-server与web-server在不同进程中,在同一台server中)1.先检查下网络是否畅通:ping www.baidu.com 测试一下,mysql是否已经安装好并启动了,并在mysql中为azkaban创建一个数据库,就叫azkaban好了。2.安装git工具 :
2018-01-30 23:13:40 1025
原创 Ceontos7下安装Flume及问题
Flume是一个强大的采集日志信息的工具,它适用大部分的日志采集场景。它的安装配置也非常简单,下面就一起来看看吧! 一、安装Flume1、Flume的安装非常简单,只需要解压即可,但是必须先配置hadoop环境,关于hadoop的配置这里就不多说了。上传flume的安装包然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入
2018-01-30 22:29:35 333
原创 当初在Linux网络连接中躺过的万人坑!全析
在虚拟机中操作:目标:开三台Linux(Centos7 ):centos01,centos02,centos03,并使得彼此之间可以互相ping通,同时每台机器都可以ping通外网。因为要连接外网,所以我选择NAT模式进行网络连接,可以先搞定一台机器的网络,然后在copy建立其它两台机器,先看第一台: 1:查看本地Windows系统中的网络ip:控制面板\所有控制面板项\网络和共享中心,如
2018-01-28 16:52:20 232
原创 简述Centos7下HIVE的安装(mysql数据库)
1.安装1.7及其以上的jdk版本; 2.安装mysql(mysql和hive可以安装在不同的机器上),其实Centos里是有内置的mysql的,如果对于rpm安装不熟悉的人,可以直接yum安装内置的mysql yum install mysql-server 安装mysql的服务端 yum install mysql
2018-01-20 21:02:45 1710 2
原创 Centos6.5下更简便的安装HIVE
1、下载Hive安装包http://hive.apache.org/downloads.html2、将hive文件上传到HADOOP集群,并解压将文件上传到:/export/software tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/ cd /export/servers/ ln -s apac
2018-01-20 08:11:22 404
原创 Linux免密登陆和设置了免密登陆还需要输入密码
一、Linux的免密登陆: ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub 目标机器ip地址/主机名 验证是否成功:ssh 目标机器 如果不需要输入密码了就表示设置成功。 二、设置了免密码登陆但是还是需要输入密码: 权限保证:1、authorized-k
2018-01-06 22:58:50 10028 5
原创 连接zookeeper出现异常:unknowHostException
我是用vm虚拟机创建了三台虚拟服务机并建立了集群,在用java客户端去连zookeeper集群的时候报错:UnknowHostException,很明显,这是无法识别主机名,我的java客户端代码如下:public class SimpleZkClient { private ZooKeeper zk=null; private final static String ****conne
2017-12-31 14:47:49 4119
原创 初次配置本地yum源
Linux中下载软件总是有很多的依赖,为了省去我们自己寻找各种依赖的麻烦,yum工具简直是神器,但是,对于第一次使用yum命令的我来说,却碰到很多问题,网上各种说法,看的人头晕,: 我的环境是在VM虚拟机中安装迷你版Linux系统,并且系统无法连接外网(当然,如果有外网的话就不存在yum命令用不了的情况了)。 不过,即使有网络,很多情况下我们也需要一个本地yum源,一是可以避免没有外网
2017-12-25 00:06:27 257
azkaban-3x使用Linux安装使用
2018-01-30
hadoop-eclipse-plugin-xx.jar(在windows的eclipse中创建Linux中的hadoop连接)
2018-01-20
适用于VMware上安装Linux系统的Centos光盘(64位与32位都有)
2018-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人