怀揣梦想 努力前行

原创 python中的 &，| 和 and or

&，|  和  and  or是两组相似的运算符，但是也是有区别的假如a与b进行运算分下面情况：如果a b是数值变量：#  &， | 表示二进制的位运算1 & 2      # 结果为01 | 2       # 结果为3 # 判断变量是否为0， 是0则为False，非0判断为True， # and中含0，返回0； 均为非0时，返回...

转载 HDFS相关知识点

深刻理解HDFS工作机制 　　深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布...

原创 机器学习中分类与回归问题的区别

我们大致可以通过一张图明显的区别它们：

原创 python更新pip失败解决办法

如果提示失败如下;You are using pip version 9.0.1, however version 10.0.1 is available.You should consider upgrading via the 'python -m pip install --upgrade pip' command.可以用管理员身份运行windows shell  然后输入 ：python3...

转载 《Hadoop管理一》checkpoint原理和过程

from http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html理解这两个概念，对于理解Hadoop是如何管理备份，Secondary Namenode、Checkpoint Namenode和Backup Node如何工作的很重要。fsimage：文件是文件系统元数据的一个永久性检查点，包含文件系统中的所有目录和文件idn...

原创 Linux的crontab

cron不停地检查所有配置的任务在当前是否应该运行，任务运行的最小时间间隔是1分钟，也就是说任务最频繁只能每分钟运行一次。(1).crontab命令选项crontab -u  -u：指定一个用户-l：列出某个用户的任务计划-r：删除某个用户的任务-e：编辑某个用户的任务（2).cron文件语法与写法可用crontab -e命令来编辑，编辑的是/var/spoo

原创 SQLserver UNPIVOT函数 行列转化出现 [Err] 42000 - [SQL Server]关键字 'FOR' 附近有语法错误。解决办法

SQLserver UNPIVOT函数 行列转化出现 [Err] 42000 - [SQL Server]关键字 'FOR' 附近有语法错误。解决办法编辑数据库将兼容级别改为90

转载 python各个操作excel模块的对比

原创 Python解析XML，sax模块的介绍

XML介绍: XML（eXtensible Markup Language）指可扩展标记语言，被设计用来传输和存储数据，已经日趋成为当前许多新生技术的核心，在不同的领域都有着不同的应用。它是web发展到一定阶段的必然产物，既具有SGML的核心特征，又有着HTML的简单特性，还具有明确和结构良好等许多新的特性。 sax模块： SAX是一种基于事件驱动的API，利用SAX解析XML牵涉到两个部分

原创 Linux系统hive的安装

安装软件（以hive为例）（1）用root用户上传jar包（rz）（2）解压到 /usr/local/ 下tar -xzf ././apache-hive-2.1.1-bin.tar.gz -C /usr/local/（3）创建软连接ln -s /usr/local/apache-hive-2.1.1-bin /usr/local/hive

原创 Linux ssh免密登陆

免密登陆思想：A机器想免密登陆到B机器，首先A机器生成公钥id_rsa.pub放到B机器上的authorized_key里免密登陆步骤：A机器 ssh-keygen -t rsa 此时在home目录下面生成了.ssh文件将A机器生成的公钥.ssh/id_rsa.pub里面的东西放到B机器里的.ssh/authorized_keys里 （cat fil

原创 python的命名规范

1).模块名： 小写字母，单词之间用_分割 demo_test.py  2).包名： 和模块名一样  3).类名： 单词首字母大写，驼峰DemoTest 4).全局变量名（类变量，在java中相当于static变量）： 大写字母，单词之间用_分割 LOG_DIR 5).普通变量： 小写字母，单词之间用_分割 user_name ...

转载 SQL Server数据类型介绍

在计算机中数据有两种特征：类型和长度。所谓数据类型就是以数据的表现方式和存储方式来划分的数据的种类。    在SQL Server 中每个变量、参数、表达式等都有数据类型。系统提供的数据类型分为几大类，如表4-2 所示。    其中，BIGINT、 SQL_VARIANT 和TABLE 是SQL Server 2000 中新增加的3 种数据类型。下面分类讲述各种数据类型。 一、 整

转载 SQL Server,MySQL,Oracle三者的区别

OracleOracle 能在所有主流平台上运行（包括Windows）。完全支持所有的工业标准。采用完全开放策略。可以使客户选择最适合的解决方案。对开发商全力支持，Oracle并行服务器通过使一组结点共享同一簇中的工作来扩展Windows NT的能力，提供高可用性和高伸缩性的簇的解决方案。如果Windows NT不能满足需要，用户可以把数据库移到UNIX中。Oracle的并行服务器对各种U

原创 Spark之WordCount（Java代码实现）

本地模式： `/** * WordCountLocal.java * com.majs.spark * Copyright (c) 2017, majiashu版权所有. * @author majiashu */package com.majs.spark;import java.util.Arrays; import java.util.Iterator;import

原创 Java异常throw与throws的区别

throws与throw的区别:throws:用在方法声明后面，跟的是异常类名可以跟多个异常类名 ，用逗号隔开表示抛出异常，又该方法的调用者来处理throws表示出现异常的一种可能性，并不一定会发生这些异常throw：用在方法体内，跟的是一场对象名只能抛出一个异常对象名表示抛出异常，有方法体内的语句处理throw则是抛

转载 机器学习入门好文

转自 飞鸟各投林史上最强----机器学习经典总结---入门必读----心血总结-----回味无穷让我们从机器学习谈起导读：在本篇文章中，将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器

原创 大数据分析的两个流程（实时与离线）：

数据分析的两个流程：实时分析流程：业务数据、消息队列、Storm实时编程、Redis、数据展示（秒级计算）离线分析流程：不同数据源获取数据、Hadoop集群数据、计算(Hive、Spark、MapReduce)、数据展示（T+1计算）

原创 设置mapreduce压缩输出

map压缩输出conf.setBoolean("mapred.compress.map.out", true);//设置map输出压缩   conf.setClass(Job.MAP_OUTPUT_COMPRESS_CODEC, GzipCodec.class, CompressionCodec.class);reduce压缩输出  conf.setBoolea

原创 观察者模式与发布订阅者模式

观察者模式：观察者模式定义了对象间一对多依赖，当一个对象改变状态时，这个对象的所有依赖者都会收到通知并按照自己的方式进行更新具体如下图所示：观察者模式在实际应用中被使用的相当的广泛。这种设计模式体现了主题对象与观察者对象之间的松耦合机制，主题对象有一个状态，每当状态改变时，他会依次通知在它队列中注册过的观察者（注册到具体的目标里）。但实际上主题对象并不知道实际的观察者是什么

原创 maven打Jar包

1、在项目的pom文件增加assemply插件2、把assembly配置文件放到src/assembly如果没有就创建3、在assembly.xml中配置好需要包含的资源文件，和打包时需要排除的文件4、然后右击工程文件通过选择run as­­>maven build...5、之后会在项目的target目录下生成jar包，包后缀名使用的是assembl

原创 WordCount经典编程

WordCount原理： MapReduce任务被初始化为一个Job，每个Job又可以分为两种阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，即map函数和reduce函数。map函数接收一个/** * WordCount.java * com.hainiu.hadoop.mr * Copyright (c) 2017, 小马同学版权所有. * @author 小马

原创 用Java输出所有三位的水仙花数

用Java输出所有三位的水仙花数public class ShuiXianHuaShu{ public static void main(String[] ages){ for(int i = 100;i<=1000;i++){ int ge = i % 10; int shi = i/10%10; in

原创 hbase的常用shell操作

（1）创建一个表create '表名字','列簇1','列簇2','列簇n'create 'majiashu_table','column_family1','column_family2','column_family3'（2）添加记录添加列簇：alter '表名', NAME => '列簇名'alter 'majiashu_test',NAME=>‘family