墨染百城
码龄8年
关注
提问 私信
  • 博客:497,323
    社区:1
    497,324
    总访问量
  • 187
    原创
  • 517,565
    排名
  • 251
    粉丝
  • 0
    铁粉

个人简介:目前专注于数据分析、大数据计算方面的学习

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:浙江省
  • 加入CSDN时间: 2017-01-26
博客简介:

墨染百城

博客描述:
士别三日,当刮目相看
查看详细资料
个人成就
  • 获得225次点赞
  • 内容获得151次评论
  • 获得879次收藏
  • 代码片获得3,881次分享
创作历程
  • 188篇
    2017年
成就勋章
TA的专栏
  • Mproxy项目实录
    7篇
  • Java并发编程
    2篇
  • Linux基础
    5篇
  • 运维
    6篇
  • 大数据框架
    31篇
  • Java基础
    28篇
  • 自定义rpc框架
    13篇
  • maven
    1篇
  • TDD
    5篇
  • 书山有路
    16篇
  • 测试
  • 软件测试的艺术
    4篇
  • Hadoop
    29篇
  • Ambari
    1篇
  • Java并发编程
    1篇
  • Python
    15篇
  • Mproxy项目实录
    7篇
  • 爬虫
    2篇
  • 信息检索笔记
    2篇
  • LeetCode
    41篇
  • 随笔
    5篇
  • 职场
    4篇
  • Hive
    11篇
  • 算法
    5篇
  • Scala
    1篇
  • SQL练习
    2篇
  • SQL学习
    15篇
  • flume
    1篇
  • 管理软件
    1篇
兴趣领域 设置
  • 大数据
    hadoophivesparketl
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

看到一个好句子,记下来

人一能之,己百之;人十能之,己千之。果能此道矣,虽愚,必明;虽柔,必强。–《礼记》
原创
发布博客 2017.07.05 ·
792 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

OKR学习笔记

1. 什么是OKROKR的全称是“Objectives and Key Results”,翻译过来就是“目标和关键成果”。它是一种目标管理方法,是一种能够让企业更好的聚焦战略目标,更好的集中配置资源,更好的使团队上下同欲的管理方法。2. OKR是怎么来的2.1 起源1954年,德鲁克在《管理的实践》一书中明确的提出了目标管理法(MBO),这应该是最早的源头了。德鲁克认为:所有企业的使命和任务,必须转
原创
发布博客 2017.06.22 ·
1839 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

IKAnalyzer2012_FF 区分大小写版本

发布资源 2017.06.20 ·
jar

【算法】算法的时间复杂度计算

计量单位为了便于比较同一个问题的不同算法,通常的做法是,从算法中选取一种对于所研究的问题(或算法类型)来说是基本操作的原操作,以该基本操作的重复执行的次数作为算法的时间量度。时间频度一个算法花费的时间与算法中语句的执行次数成正比例,哪个算法中语句执行次数多,它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。时间复杂度在刚才提到的时间频度中,n称为问题的规模,当n不断变化时
原创
发布博客 2017.06.14 ·
2385 阅读 ·
2 点赞 ·
0 评论 ·
4 收藏

用Python一键搭建Http服务器

用Python一键搭建Http服务器今天好友问我怎么从阿里云服务器上把文件下载下来。我一听之下觉得办法很多啊,随意搭个服务器,然后把文件一丢就可以下载了;弄个FTP也行;直接用远程桌面往下拖也可以。考虑到便捷性,觉得上面的办法都比较麻烦,最好能有个直接解决问题的办法。然后就找到了Python里面。Python3请看python -m http.server 8000Python2请看python
原创
发布博客 2017.05.22 ·
8719 阅读 ·
1 点赞 ·
0 评论 ·
7 收藏

职场初体验

今天是一辈子第一次上跟专业相关的班。有点小忐忑。本来以为要见识早高峰了,但是实际上并没多少人,居然还有点小不甘心。。。不过想想以后早上不用早高峰,实际上放松了好多。出了地铁站就遇到了小黄车,哈哈,运气超好。所以提前到了一会儿。在周围熟悉一下环境。然后就被HR姐姐接到楼上了。先是填了一些表,然后熟悉了一下工作环境,装了一下办公要用的软件。基本弄完以后还不到吃中饭的时间,所以就先继续看《Scala编程思
原创
发布博客 2017.04.06 ·
1230 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

【书山有路】SQL必知必会 第22课

第15课到21课也看过了,感觉没有什么记笔记的需要。本课很重要,一定要记一下。本课的主题是“高级SQL特性”,介绍约束、索引和触发器。概念约束:管理如何插入或处理数据库数据的规则。约束引用完整性利用键来建立一个从一个表到另一个表的引用,保证只在表中插入合法(存在于引用列)的数据。主键保证一列中的值是唯一的,且永不改动。外键有助于防止意外删除。唯一约束保证一列中的数据是唯一的。检查约束用户自定义约
原创
发布博客 2017.04.05 ·
751 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

【书山有路】SQL必知必会 第14课

本课的主题是“组合查询”,讲述如何利用UNION操作符将多条SELECT语句组合成一个结果集。组合查询主要有两种情况使用组合查询:在一个查询中从不同的表返回结构数据对一个表执行多个查询,按一个查询返回数据UNION规则UNION必须由两条或两条以上的SELECT语句组成。UNION中的每个查询必须包含相同的列、表达式或聚集函数列数据类型必须兼容:类型不必完全相同,但必须是DBMS可以隐式
原创
发布博客 2017.04.04 ·
695 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

【书山有路】SQL必知必会 第13课

本章的主题是“创建高级联结”,主要介绍如何使用表别名,如何对被联结的表使用聚集函数。提示表的别名只在查询执行中使用,不返回到客户端。使用表别名SQL允许给表名起别名,有两个主要理由:缩短SQL语句允许在一条SELECT语句中多次使用相同的表自连接自连接通常作为外部语句,用来替代从相同表中检索数据的使用子查询语句。许多DBMS处理联结远比处理子查询快得多。自然联结无论何时对表进行连接,应该至
原创
发布博客 2017.04.04 ·
659 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

【书山有路】SQL必知必会 第12课

本章的主题是“联结表”,主要介绍什么是联结,为什么使用联结,如何编写使用联结的SELECT语句。概念由没有联结条件的表关系返回的结果为笛卡尔积。检索出的行的数目将是第一个表中的行数乘以第二个表中的行数。笛卡尔积又称为Cross Join警告要保证所有的联结都有WHERE子句,否则DBMS将返回比想要的数据多得多的数据。DBMS在运行时关联指定的每个表,以处理联结。这种处理可能非常耗费资源,因
原创
发布博客 2017.04.04 ·
744 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

【SQL练习】经典SQL练习题

准备数据建表语句CREATE TABLE students(sno VARCHAR(3) NOT NULL, sname VARCHAR(4) NOT NULL,ssex VARCHAR(2) NOT NULL, sbirthday DATETIME,class VARCHAR(5))CREATE TABLE courses(cno VARCHAR(5) NOT NULL, cname
原创
发布博客 2017.04.03 ·
147773 阅读 ·
156 点赞 ·
127 评论 ·
994 收藏

【书山有路】SQL必知必会 第11课

本章的主题是“使用子查询”,介绍什么是子查询,以及如何使用它们。提示在WHERE子句中使用子查询能够编写出功能很强且很灵活的SQL语句。对于能嵌套的子查询的书目没有限制,不过在实际使用时由于性能的限制不能嵌套太多的子查询。也可以在计算字段中使用子查询。警告使用子查询并不总是执行这类数据检索的最有效方法。子查询SQL允许创建子查询,即嵌套在其他查询中的查询。可以把一条SELECT语句返回的结
原创
发布博客 2017.04.03 ·
875 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flume安装及使用示例

Flume概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求,通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景运行机制
原创
发布博客 2017.04.03 ·
550 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

【LeetCode】258. Add Digits

问题描述问题链接:https://leetcode.com/problems/add-digits/#/descriptionGiven a non-negative integer num, repeatedly add all its digits until the result has only one digit.For example:Given num = 38, the proces
原创
发布博客 2017.04.03 ·
614 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

一道Hive面试题:累积报表

我们有如下的用户访问数据: userId visitDate visitCount u01 2017-01-21 5 u02 2017-01-23 6 u03 2017-01-22 8 u04 2017-01-20 3 u01 2017-01-23 6 u01 2017-02-21 8 u02 2017-01-
原创
发布博客 2017.04.02 ·
2921 阅读 ·
0 点赞 ·
1 评论 ·
10 收藏

【书山有路】SQL必知必会 第10课

本章的主题是“分组数据”,介绍如何分组数据,以便汇总表内容的子集。涉及到GROUP BY和HAVING子句。提示使用分组可以将数据分为多个逻辑组,对每个组进行聚集计算。HIVING支持所有WHERE操作符。WHERE在数据分组前进行过滤,HAVING在数据分组后进行过滤。创建分组分组是使用SELECT语句和GROUP BY子句建立的。来看下面的SQL命令:SELECT vend_id, CO
原创
发布博客 2017.04.02 ·
559 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

【书山有路】SQL必知必会 第9课

本章的主题是“汇总数据”,介绍什么是SQL聚集函数,以及如何利用它们汇总表的数据。警告AVG只能用来确定特定数值列的平均值,列名必须作为参数给出。为了获得多个列的平均值,必须使用多个AVG函数。AVG函数忽略列值为NULL的行。MAX函数忽略列值为NULL的行。MIN函数忽略列值为NULL的行。SUM函数忽略列值为NULL的行。DISTINCT只能用于COUNT(column),不能用于
原创
发布博客 2017.04.02 ·
486 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

【书山有路】SQL必知必会 第8课

本章的主题是“使用数据处理函数”,介绍什么是函数,如何使用这些函数;还将讲解为什么SQL函数的使用可能会带来问题。概念可移植:所编写的代码可以在多个系统上运行。提示为了代码的可移植性,许多SQL程序员不赞成使用特定于实现的功能。虽然这样做很有好处,但有的时候并不利于应用程序的性能。如果不使用这些函数,编写某些应用程序代码会很艰难。必须利用其他方法来实现DBMS可以非常有效完成的工作。使用或不
原创
发布博客 2017.04.01 ·
486 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hive TransForm案例

Hive的 TRANSFORM 关键字提供了在SQL中调用自写脚本的功能,适合实现Hive中没有的功能又不想写UDF的情况。步骤1、先加载rating.json文件到hive的一个原始表 rat_jsoncreate table rat_json(line string) row format delimited;load data local inpath '/home/hadoop/ratin
原创
发布博客 2017.04.01 ·
2919 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Hive中的UDF及自定义函数示例

Hive官方的UDF手册地址是:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF测试内置函数的快捷方法创建一个表dualload数据到dual表尝试内置函数自定义函数例子有时候Hive提供的内置函数不能满足我们的要求,此时就需要自定义函数。下面我们做一个自定义函数实现ToLowerCase的功能。新建Java工程需
原创
发布博客 2017.04.01 ·
1388 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多