- 博客(97)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Zookeeper是什么？
Zookeeper：自己理解：分布式系统的可靠协调系统。监控主从服务器的死活，当主服务器挂的时候，通过选举leader方式进行主服务器的选取，保证有主服务器。一般主从服务器的部署数量是奇数，因为要选举leader。百度百科原理：ZooKeeper是以Fast Paxos算法为基础的，Paxos 算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导...
2019-10-23 14:07:43
199
原创 hadoop单机版配置和测试
环境：centos7+hadoop-2.7.3.tar.gz1、首先下载hadoop，下载地址：http://hadoop.apache.org/releases.html2、解压到/opt/hadoop-2.7.3解压tar -zxvf hadoop-2.7.3.tar.gz 安装：mv hadoop-2.7.3.tar.gz /opt/hadoop-2.7.3（放到想要安装的...
2019-08-16 11:20:06
522
原创 IDEA下maven项目windows环境构建（含scala插件配置）
IDEA下maven项目windows环境构建：第一步：下载IDEA，我这里的版本是2019.2，更新时间是2019.7.23第二步：下载JDK，安装好的直接在电脑控制台输入：java -version有正常的版本显示就是ok，我的是1.8版本第三步：在idea中配置JDK的包，在Project Settings中配置依赖，Source这里也要改成对应的8，即可；第四步...
2019-08-07 11:30:13
423
原创 flume+kafka配置测试流程
1、配置flume里的conf文件[root@Zk-robot-2 kafka]# cd /opt/flume-1.8.0/conf/[root@Zk-robot-2 conf]# vi flume_to_kafka.conf#配置agentagent1.sources=source1agent1.channels=channel1agent1.sinks=sink1#配置so...
2019-07-24 19:50:32
429
原创 centos上安装kafka及案例演示
使用kafka自带zookeeper的情况下，只需要配置/opt/kafka/config下server.properties文件即可！！！listeners=PLAINTEXT:// localhost:9092（单机安装，不要用IP，不知道为啥，但就是报错）1、启动kafka自带的zookeeper：1）nohup bin/zookeeper-server-start.sh con...
2019-07-23 19:48:13
140
转载 linux上安装配置flume1.8.0过程
转自：https://segmentfault.com/a/1190000011881177记一次linux上安装配置flume1.8.0过程1、安装jdk需要1.6以上版本参考文章https://segmentfault.com/a/11...2、下载flume从官网下载压缩包：http://flume.apache.org/downl...选择apache-flum...
2019-07-18 08:41:23
320
原创 centos上安装flume及案例演示
环境准备：1、1台centos系统机器2、jdk安装包3、flume安装包步骤：1、flume安装的前提是先安装了JDK如下：centos7.2使用rpm安装jdk8①下载jdk到官网下载：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html我...
2019-07-17 15:27:57
680
原创 linux下通过python访问redis的方法
redis部署在linux（IP1）上，比较常用的可视化操作是在一台windows（IP2）上装redis的客户端（Redis Desktop Manager,RDM），将IP1的端口、密码配置好就可以在RDM上get\set操作啦，当然前提是IP1和IP2网络是通的。那么问题来了，当网络不通的情况，要怎么处理呢？想法1：通过FinalShell操作linux，连接IP1和对应的db先...
2019-05-29 11:10:46
293
转载 redis Error: Connection reset by peer 解决
我的redis版本：3.2.8.redis安装教程，参考官方网站：https://redis.io/download$ wget http://download.redis.io/releases/redis-3.2.8.tar.gz$ tar xzf redis-3.2.8.tar.gz$ cd redis-3.2.8$ make && make install...
2019-05-26 18:04:17
6757
转载 CentOS搭建FTP文件服务的步骤及常用分配权限操作
基于 CentOS 搭建 FTP 文件服务，供大家参考，具体内容如下系统要求：CentOS 7.2 64 位操作系统一.安装VSFTPD (vsftpd 是在 Linux 上被广泛使用的 FTP 服务器，根据其[官网介绍][https://security.appspot.com/vsftpd.html]，它可能是 UNIX-like 系统下最安全和快速的 FTP 服务器软件。)...
2018-11-21 14:30:34
2199
转载 seq2seq学习笔记
版权声明：欢迎转载，但请务必注明原文出处及作者信息。目录(?)[-]RNN基础seq2seq1 seq2seq 模型分析2 模型应用3 模型细节@author: huangyongye1. RNN基础对于RNN，我看到讲得最通俗易懂的应该是Andrej发的博客： The Unreasonable Effective
2017-07-30 13:26:28
1234
转载 python 结巴分词(jieba)学习
原文 http://www.gowhich.com/blog/147 主题 中文分词 Python源码下载的地址：https://github.com/fxsjy/jieba演示地址：http://jiebademo.ap01.aws.af.cm/特点1，支持三种分词模式： a,精确模式，试图将句子最精确地切开，适合文本分析； b
2017-03-23 14:32:47
456
转载 梯度下降法
回归(regression)、梯度下降(gradient descent)发表于332 天前 ⁄ 技术, 科研 ⁄ 评论数 3 ⁄ 被围观 1152 次+ 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言:上次写过一篇关于
2017-01-23 09:31:58
280
原创 互联网思维下运营商的服务变革
在互联网思维下，运营商客户服务也要做相应变革才能赢得先机。 服务至上是未来企业发展取得成功的制高点，互联网时代服务变革出现新的思维： 1）企业展示平台和服务方式的变化。企业投资可以依靠并购，如2013年底携程的并购方案，中信银行信用卡通过高温赔偿文案赢得20万+的关注，各类自媒体的传播等案例都充分说明了服务方式的变化。 2）服务对象的改变。客户受新媒体生活方式的渗透，需
2015-11-18 22:40:53
930
转载 自由浮动和总浮动
总浮动时间总浮动时间是指在不延误项目完成日期或违反进度制约因素的前提下，某进度活动可以推迟的总时间量(从其最早开始日期起算)。总浮动时间 = 最晚开始时间-最早开始时间 = 最晚完成时间-最早完成时间浮动时间（FLOAT）= 时差（SLACK）= 总浮动时间（TOTAL FLOAT）= 路径浮动时间（Path FLOAT）自由浮动时间自由浮动时间是指可以在不推迟任何后续活动
2015-11-04 12:50:21
2793
转载 SVM介绍
转载自jasper java（一）SVM的八股简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支 持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即
2015-07-08 10:49:33
1079
原创 数据挖掘方向
一直想真正走进大数据的世界今天遇到一个数据挖掘的大神讲了些让我觉得受益的东西于是记录下来数据挖掘是分为策略层和架构这两个大的方向我想主攻策略层多尝试，就是多了解一些行业需求，结合一些能拿到的数据做模型、做实验结合实际需求去练手，而不是只关注工作上的一点事，或者局限于书本上的概念 结合需求去看吧，常用的svm，决策树之类的数据库的知识也要掌握
2015-07-08 10:07:13
963
转载 交叉验证
交叉验证（Cross validation)，有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize），交叉验证一般要尽量满足：
2014-07-31 14:57:09
896
转载 SAS学习经典书籍
General StatisticsThe Little SAS Book, for Enterprise Guide 4.2 by Susan J. Slaughter and Lora D. DelwicheThe Little SAS Book, Fourth Edition by Lora Delwiche and Susan SlaughterThe Litt
2014-07-24 14:09:45
2353
转载 经典Sql面试题收集！！
1.用一条SQL语句 查询出每门课都大于80分的学生姓名 name kecheng fenshu 张三 语文 81张三 数学 75李四 语文 76李四 数学 90王五 语文 81王五 数学 100王五 英语 90
2014-04-14 22:56:28
944
原创 信息图形化中各图形特点
1.饼图用于体现比例2.条形图比较灵活且精确3.数值型数据涉及数字和数量；类别数据涉及的是表述和质量4.水平条形图用于展现类别数据，尤其是在类别名字太长的时候5.垂直条形图用于展现数值型数据，若名字不长，也可以用于体现类别数据6.在一张条形图上体现多批数据时。若要侧重比较频数时，可以用堆积条形图；若要侧重比例和总频数时，可以用分段条形图7.直方图用于分组数值型数据，且直方图
2014-04-02 20:35:22
1377
转载 想学统计学需要掌握哪些知识？
想学统计学需要掌握哪些知识？发表于 2013-12-19 00:11 来源：知乎网这是一个很好的问题，对于新手、特别是非统计科班出身的人来说，心里总是有这样的顾虑，掌握的统计学基础只是不够，然而又应该从哪里入手呢？以下是中国统计网整理自知乎的一些答案，希望对大家会有所帮助。@肖玄：我认为首先要明确的是学统计干什么，如果有明确的作用，比如时间序列，市场调研这些，那么推荐书籍各
2014-03-30 23:30:45
1926
转载 一位数据分析师的职业规划
为什么要做数据分析师？在 通信、互联网、金融等这些行业每天产生巨大的数据量（长期更是积累了大量丰富的数据，比如客户交易数据等等），据说到2020年，全球每年产生的数据量达 到3500万亿GB；海量的历史数据是否有价值，是否可以利用为领导决策提供参考依据？随着软件工具、数据库技术、各种硬件设备的飞快发展，使得我们分析 海量数据成为可能。而数据分析也越来越受到领导层的重视，借助报表告诉
2014-03-30 23:18:05
3970
原创 阿里数据分析师实习生笔试题2014年3月29日
时间为90分钟题型：10道选择，3道简答，2道分析题回忆版选择题：1）若 r=0,则两者的关系：我选择的是 没有线性关系2）以下两种行为分别对应哪种分类算法的评价标准:行为1：警察如何判别某人是小偷行为2：小偷是如何被识别出来（+_+行为记不清楚，请记得的童鞋补上）选项是Recall Precision ROC的组合，这题不会3）以下哪项对Hadoop的
2014-03-29 21:15:46
7585
原创 《深入浅出数据分析》资源汇总
1.官网 www.headfirstlabs.com2.Edward Tufte的图形原则很有用。《出色的证据》 Beautiful Evidence《公共政策数据分析》Data Analysis for Public Policy.下载地址 http://www.edwardtufte.com/tufte/dapp/3.R社区4.Google Docs访问实时在线数
2014-03-21 20:41:55
2688
原创 R软件初识数据分析
R软件下载地址：http://www.r-project.org/ 1.用来制作散点图非常便捷。 plot(纵坐标变量~横坐标变量，data=数据集名称)plot(纵坐标变量~横坐标变量|属性拥有者，data=数据集名称) 。多个散点图。 2.数据存储成CSV格式的会更容易处理 3.R能用正则表达式来处理数据模式！！！NewName \\( 表示左括号
2014-03-21 19:54:27
1642
转载 Python的时间
Python的时间：秒和字符串之间的转换2011-09-02 13:31:16 我来说两句 收藏 我要投稿 1）秒数 ==》字符串1234567 from time import * def secs2str(secs): return strftime("%Y-%m-%d %H:%M:%S",localtime(secs))
2014-03-12 10:23:10
1025
原创 SAS学习笔记（七）——关于异常值处理
SAS中对于类别变量（离散）分布观察用proc freq，对于连续变量则用proc univariate来完成。识别连续型变量的异常值通常称为盒形图，一般采用proc univariate data=train plot;var variable;run;plot选项输出变量的茎叶图（观测数少）或者直方图（观测数多），盒形图，正态概率图。（同时输出这些图）该方法只能识别某变
2014-03-03 20:02:04
15066
3
原创 SAS学习笔记（六）——关于数据格式的SAS函数
（一）字符转换：1）字符型转换成数值型Numvar=INPUT(source,informat)2）数值型转换成字符型Chavar=PUT(source,format)（二）字符型变量的处理1）提取字符串substr('string',start,length)scan('string',i,'char') char是分隔符，i是取第几部分2）替换字符
2014-03-03 19:28:09
17611
1
原创 SAS学习笔记（五）——关于样本划分
数据集可划分为训练数据集和测试数据集划分时要注意：随机性和等比例分层（训练数据和测试数据有相同比例的目标事件）/*进行等比例分层之前要对分层变量进行排序*/proc sort data=data_base;by y; /*y是目标变量*/run;/*surveyselect过程*/ 即设置参数的过程proc surveyselect data=data_
2014-03-02 15:21:09
5875
原创 SAS学习笔记（四）——关于数据整合的几个细节
1）数据合并纵向合并是指不同用户的相同字段信息进行合并，将表变长了啊~~用set temp1 temp2;横向合并是指相同用户的不同字段进行扩展，将表变胖了啊~~用merge temp1 temp2;2）数据汇总比如对同一个用户，在一个月内有好几条交易额信息，我们只想知道他一个月的总和，那么就要对数据进行汇总。可以用first. last.这样的指令，但在用着两个指令之前要对数
2014-03-02 11:04:19
5672
原创 SAS学习笔记（三）——关于PERCENT用法注意
1）例如想让结果展示为23.45%，这里%是占3个字符的，因此y=put(x,percent8.2)2)例如*.txt文件中的内容为102012/12/09 outdoor 15%982101/01/01 golf 7%901207/02/01 clothes 25%103009/22/07 shoes 7%这里要展示为两位小数的结果，则应该
2014-02-27 20:46:25
4858
2
原创 工作沟通中的几点体会
1.找准点沟通中很重要的一点就是要切中要点，知道讨论的核心问题是什么。作为新职员，会有很多名词、术语、联系不清楚，因此很容易出现“以为……”之类的事情，自己还一头雾水，这不仅严重降低效率，同时还会给别人留下不好的印象。2.先宏观再具体如果一开始就纠结在细节上，可能都不知道自己最初做的是什么，要的是什么。3.换位思考比如当对方说你的设计很丑的时候，你可以说“审美是主观的，每个人都
2014-02-21 14:52:40
971
原创 数据分析入门方法
第一部分：SAS SAS baseSAS sqlSAS macro第二部分：算法聚类、分类……第三部分：数据挖掘参考：韩家炜的《数据挖掘：概念与技术》
2014-02-21 13:53:48
975
转载 SAS学习经典书籍&方法
General StatisticsThe Little SAS Book, for Enterprise Guide 4.2 by Susan J. Slaughter and Lora D. DelwicheThe Little SAS Book, Fourth Edition by Lora Delwiche and Susan SlaughterThe Little S
2014-02-20 20:38:53
4418
转载 初学大数据
---------大数据系列学习之一网络上流传着这么的一句流行语：“万事不懂问度娘”。自从有了各种搜索引擎，新名词新技术对大众而言，已不再神秘。然而，当你搜索“大数据”或者“big data solution”等关键字时，搜索出的海量相关知识铺天盖地，对初学者而言，仍然很难在短时间内入门。本文目的，是以傻瓜式提问的方式让初学者轻松的了解“大数据”。大数据的概念“大数据”，是不是--
2014-02-15 23:53:10
1397
转载 IA32,x86,IA64,x64,ME64T，IPF含义
x86：Intel从16位微处理器8086开始的整个CPU芯片系列，系列中的每种型号都保持与以前的各种型号兼容，主要有8086，8088（前面两个是16位CPU），80186，80286（这两个是过渡产品）， 80386，80486以及以后各种型号的Pentium芯片[奔腾，P2, P4，赛扬...]（这些都是32位CPU）x86-64：x86-64是x86指令集的超集，在x86处理器
2014-02-14 09:56:40
1229
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人