- 博客(28)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Hbase表两种数据备份方法-导入和导出示例
Hbase表数据导入和导出示例场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。本文借助hdfs作为中介将线上的hbase数据导出部分到测试hbase表中。闲话少叙，例子就来：1）、创建hbase表emplocalhost:bin a6$ pwd/Users/a6/Applications/hbase-...
2018-05-15 17:39:46
22039
6
原创 向量范数与矩阵范数定义和python向量矩阵运算示例
向量范数与矩阵范数定义和python相关运算示例1.范数(norm)的意义要更好的理解范数，就要从函数、几何与矩阵的角度去理解。 我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。 但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达...
2018-05-31 13:05:04
2740
转载 最新！2018年中国程序员薪资生活调查报告
根据中国互联网络信息中心（CNNIC）发布的第41次《中国互联网络发展状况统计报告》，截至2017年12月，我国网民规模达7.72亿，普及率达到55.8%，超过全球平均水平（51.7%）4.1个百分点，超过亚洲平均水平（46.7%）9.1个百分点。我国网民规模继续保持平稳增长，互联网模式不断创新、线上线下服务融合加速以及公共服务线上化步伐加快。而其中推动我国网民规模持续增长的原因离不开一批中国程序...
2018-05-30 15:15:21
5712
转载 十年你能做的能得到的有多少？一个工科IT男的工作回忆
展望未来，总结过去10年的程序员生涯，给程序员小弟弟小妹妹们的一些总结性忠告。 走过的路，回忆起来是那么曲折，把自己的一些心得体会分享给程序员兄弟姐妹们，虽然时代在变化，但是很可能你也会走我已经做过的10年的路程，有些心得体会你可以借鉴一下，觉得说得有道理的你就接纳，觉得说得没道理的，你就抛弃，以下是我发自内心的，给大家的忠告，特别是针对那些小弟弟妹妹们。01. 自己的户口档案、养老保险、...
2018-05-30 14:52:29
1220
转载 经历≠经验，码农如何工作10年依然是菜鸟？
引言说实话，工作10年不等于是高手；高手也不等于要工作时间久。圣人曾经曰过：“工作经历不等于工作经验”。工作10年，只是一个“经历”，而“经历”不能得以总结、归纳和升华，就无法转化为“经验”。一个2年“工作经验”的工程师水平可能远高于一个10年“工作经历”的工程师。如果程序员在35岁的时候，“工作经验”与刚毕业的时候差别不大，则其不可替代性就不高，很难在大龄时具备足够竞争力。大龄程序员，跟应该以专...
2018-05-30 14:47:23
306
转载 程序员水平难判断?程序员的6大等级，赶紧对号入座吧!
程序员有年薪十万和年薪百万之分，为什么会这样?因为程序员的水平高低不一样，今天小编就来带大家看看程序员的水平高低以及程序员的级别吧。0不入流程序员哥写的不是程序，是BUG。1初级程序员初级程序员的定义是可以独立完成项目。能独立完成项目，就需要懂好多东西了。从业务的角度来说，要懂很多业务逻辑，能够理解并且抽象成模型转换成代码，要会测试，要会发布，要会改Bug，要懂版本管理，要知道代码规范。2普通程序...
2018-05-30 14:26:48
7365
转载 马化腾：未来几年最赚钱的职业是程序员？这跟聪明没半毛钱关系
这个时代，赚钱不难，赚 100 万也不难，难的是要具备且能勤奋的执行的能够持续创造财富的思想方法：观察事物 - 分析分解事物 - 得出解决方案，且把每一个步骤一步一步“写”下来并踏踏实实实施，这个方法最笨，但是她是最踏实的，有了这个，钱是迟早的事儿。好的思想方法宛如一个能源源不断生长出参天大树的生态系统，这种感觉是绿油油、清清爽爽的。马化腾创立腾讯的时候曾说过一句话：一个新的互联网时代即将到来。这...
2018-05-30 14:23:16
964
转载 毕业三到五年，别让“努力”毁了你--唯有提升个人实力才是王道
毕业，就像一个大大的句号，从此，我们告别了一段纯真的青春、一段年少轻狂的岁月、一个充满幻想的时代，纷纷走向了社会。 刚毕业的时候，作为职场新人，我们都拿着接近的薪水，干着相似的事情，大家都过得差不多。 然而三到五年过去了，渐渐大家的差距就出来了。小伙伴A已经成了公司里的技术骨干，带领着自己的小团队，开始参与公司决策的事情；小伙伴B已经在业内小有名气，公众号、知乎、博客上粉丝众多，自己已...
2018-05-30 14:18:41
4353
转载 如何在三年内快速成长为一名技术专家
作者介绍清英, 蚂蚁金服技术专家，支付宝架构师，《JAVA并发编程的艺术》作者，10年+软件开发和架构经验，并发编程网（http://ifeve.com/）创始人。引言：工作前三年是职业生涯中成长最快的几年，在这段时间里你会充满激情，做事专注，也容易养成良好的习惯。在我们公司有些同学在前三年中就快速成为某一个领域的技术专家，有些同学也可能止步不前。本文和大家一起探讨下如何在三年内快速成长为一名技术...
2018-05-30 13:56:21
375
转载 年轻人，在公司混日子,伤害的是自己!
大家都朝九晚五上班,有的人三五年就做到了公司高管,十来年已经成功创业财务自由。有的人一二十年依然在最底层挣扎，希望下面的文章能给你一些启发。人不成熟的最大表现就是：只会算计眼前的得失，却看不见长远的成长。为自己做一个长远的人生规划和职业规划，把长远的目标分解成中期目标，把中期目标分解成近期目标，把近期目标分解成当前要做的事。有了规划，做每一件事你都会思考：通过做这件事你学到了什么东西，对你的近中远...
2018-05-30 13:53:53
1851
原创 利用HBase shell设计一个hbase表的初衷
利用HBase shell设计一个hbase表的初衷ps、hbase zkcli 和 hbase shell的使用一、 hbase shell的使用1.1 hbase 可使用的命令参数如下:localhost:bin a6$ hbaseUsage: hbase [<options>] <command> [<args>]Options: --config...
2018-05-29 16:28:09
681
转载 HBase-2.HBase 的体系结构、行键、列族设计
HBase-2.HBase 的体系结构、行键、列族设计HBase体系结构l Client -包含访问HBase接口并维护cache来加快对HBase的访问l ZooKeeper-保障任务时候，仅有一个Master节点-存储Region的寻址入口-实时监控RegionServer的上线和下线信息。并实时通知Master-存储HBase的schema和table的元数据信息，通过ls /hbase...
2018-05-29 15:12:53
2559
原创 Spark API 之 map、mapPartitions、mapValues、flatMap、flatMapValues详解
Spark API 之 map、mapPartitions、mapValues、flatMap、flatMapValues详解1、创建一个RDD变量，通过help函数，查看相关函数定义和例子：>>> a = sc.parallelize([(1,2),(3,4),(5,6)])>>> aParallelCollectionRDD[21] at paral...
2018-05-29 11:01:47
16480
转载 RDD中cache和persist的区别
RDD中cache和persist的区别通过观察RDD.scala源代码即可知道cache和persist的区别：def persist(newLevel: StorageLevel): this.type = { if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) { throw new...
2018-05-26 18:41:23
758
原创 MacDown编辑器介绍
MacDown使用指南我的MacDown操作示例demo例子如下：MacDown操作demo认识MarkDown什么是 MarkDown ?MarkDown 是一种 轻量级的标记语言 , 可以使用普通文本编辑器编写的语言。通过简单的标记语法，使普通的文本具有一定的格式。MarkDown 的优点在于，它用简洁的语法代替了排版。而不像一般我们用的处理软件 Word 或 Pages 有大量的排版、字体设...
2018-05-23 19:48:30
5429
1
转载 pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换代码示例：# -*- coding: utf-8 -*-import pandas as pdfrom pyspark.sql import SparkSessionfrom pyspark.sql import SQLContextfrom pyspark import SparkCont...
2018-05-21 19:50:15
5904
2
转载 最全Pycharm教程（39）——Pycharm版本控制之本地Git用法
最全Pycharm教程（39）——Pycharm版本控制之本地Git用法1、主题 介绍如果通过Pycharm使用本地Git集。 2、准备工作 （1）PyCharm版本为2.7或更高 （2）已经创建一个工程 （3）Git插件可用，对应可执行文件在 Git page页面正确配置 3、创建一个Git集 按下Alt+`显示常用的VCS命令（也可以通过主菜单VCS→VCS Operatio...
2018-05-18 16:12:12
4565
转载 Hive视图和索引以及MySQL，Hive，Hbase视图概念相关理解
Hive视图和索引以及MySQL，Hive，Hbase视图概念相关理解一、HiveQL视图和索引（1）、视图：Hive中的视图的作用总的来说就是为了简化查询语句，是一个逻辑上的视图，而不是物化的视图。索引则是加快查询速度的比较重要的手段，之前的Mysql优化的文章中也讲到了索引的使用，感觉概念上和Mysql数据库中的操作基本上是相似的。1）、创建视图语句CREATE VIEW [IF NOT EX...
2018-05-18 15:32:06
1391
转载 Hive下查看表占用空间大小的方法
一、Hive下查看数据表信息的方法方法1：查看表的字段信息desc table_name;方法2：查看表的字段信息及元数据存储路径desc extended table_name;方法3：查看表的字段信息及元数据存储路径desc formatted table_name;备注：查看表元数据存储路径是，推荐方法3，信息比较清晰。hive> desc parquet;OKmember_id ...
2018-05-18 15:23:36
41965
1
原创 hive SQL 创建数据库，创建hive表、查询时，其表名，字段，统统不区分大写(在底层一律转换为小写)
hive SQL 创建数据库，创建hive表、查询时，其表名，字段，统统不区分大写(在底层一律转换为小写)（1）、默认default数据库hive默认自带一个名为default的数据库，如果建表时没有指定你要用哪个数据库，默认你的表就会建到default数据库中。CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name>在这里，IF N...
2018-05-18 10:44:03
11444
转载 深入HBase架构解析（一）
深入HBase架构解析（一）引文网址，收藏备以后查看——http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文...
2018-05-16 11:23:11
260
原创 Hbase常用操作及样例
Hbase常用操作及样例(1)创建hbase表可以使用命令创建一个表，在这里必须指定表名和列族名。在HBase shell中创建表的语法如下所示。create '<table name>','<column family>' 示例下面给出的是一个表名为emp的样本模式。它有两个列族：“personal data”和“professional data”。Row keyper...
2018-05-12 16:42:37
6922
转载 HBase简介，架构，使用场景介绍
一、Hbase出现的缘由及简介自1970年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。Hadoop的限制Hadoop只能执行批量处理，并且只以顺序...
2018-05-12 15:33:21
8725
1
原创 HBase 常用Shell命令
HBase 常用Shell命令使用过hbase，现在最基本的命令都淡忘了，留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoam...
2018-05-11 10:32:15
1500
转载 easy_install 和 pip的介绍：
easy_install 和 pip的介绍：easy_install和pip都是用来下载安装Python一个公共资源库PyPI 的相关资源包的，pip是easy_install的改进版，提供更好的提示信 息，删除package等功能。老版本的python中只有easy_install， 没有pip。easy_install 打包和发布 Python 包pip 是包管理easy_install 的安...
2018-05-09 11:41:11
8020
转载 MySQL中索引与视图的用法与区别详解
MySQL中索引与视图的用法与区别详解索引与视图是我们在日常使用mysql必不可少的一部分，最近在学习中看到一本书中关于这方法写的不错，所以这篇文章主要给大家介绍了关于MySQL中索引与视图的使用与区别的相关资料，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧。前言本文主要给大家介绍了关于MySQL中索引与视图的使用与区别的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介...
2018-05-03 09:29:09
1803
转载 MySQL视图简介及优缺点
MySQL视图简介及优缺点在本文中，您将了解一个叫作数据库视图的新数据库对象。 我们将讨论使用数据库视图的优缺点。数据库视图是虚拟表或逻辑表，它被定义为具有连接的SQL SELECT查询语句。 因为数据库视图与数据库表类似，它由行和列组成，因此可以根据数据库表查询数据。 大多数数据库管理系统(包括MySQL)允许您通过具有一些先决条件的数据库视图来更新基础表中的数据。数据库视图是动态的，因为它与物...
2018-05-02 20:58:14
17301
转载 视图的优点与缺点
视图的优点与缺点一:视图的简介 视图是一个虚拟表，其内容由查询定义。同真实的表一样，视图包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查询所引用的表，并且在引用视图时动态生成。 对其中所引用的基础表来说，视图的作用类似于筛选。定义视图的筛选可以来自当前或其它数据库的一个或多个表，或者其它视图。分布式查询也...
2018-05-02 20:54:43
46036
HelloUDF.zip
2019-10-11
MacDown使用小例子
2018-05-23
使用指针，进一步熟悉链表操作，实现添加，删除，修改，查找，排序等功能
2012-08-08
运算符重载和函数重载
2012-08-08
停车场管理系统
2012-08-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人