- 博客(68)
- 收藏
- 关注
RSS订阅原创 大数据工具命令行学习
1、hive命令在Hive shell下执行hadoop命令行： #比如：hadoop fs -ls /，在hive下可以这样执行： hive> dfs -ls /; 在Hive shell下执行linux系统命令： !cmd; 例如：!pwd；打印当前工作目录 在Hive shell下执行sql文件： hive
2017-10-20 11:59:35
662
转载 URL中“#” “？” &“”号的作用
1. # 10年9月，twitter改版。一个显著变化，就是URL加入了"#!"符号。比如，改版前的用户主页网址为http://twitter.com/username改版后，就变成了http://twitter.com/#!/username 这是主流网站第一次将"#"大规模用于重要URL中。这表明井号（Hash）的作用正在被重新认识。本文根据HttpWatch的文章，整理与
2017-07-10 16:02:29
313
转载 消息队列应用场景
消息队列应用场景1异步处理场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种1.串行的方式；2.并行方式。（1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。（架构KKQ：466097527，欢迎加入）（2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完
2017-06-25 16:40:15
263
转载 对Spark中shuffle机制的浅谈
Shuffle，洗牌、搅乱的意思。顾名思义就是把有规则或者有顺序的东西，打乱。打过扑克和麻将的童鞋们会有切身的体验。而在Spark中，Shuffle的过程正好相反，它是将一组无规则的数据，变成一个有规则的数据的一个过程。因为Spark是一个并行分布式的计算框架，数据是按照Key进行分区的，一块块的分区分散在集群中的各个节点上，并不是所有的计算算子都满足于按照一种方式分区进行计算。例如，当需要对数据
2017-06-17 09:14:23
298
转载 当我们说到maven(sbt)等项目管理工具时，到底在说啥？
首先，Maven的正确发音是[ˈmevən]，而不是“马瘟”以及其他什么瘟。Maven在美国是一个口语化的词语，代表专家、内行的意思，约等于北京话中的老炮儿。一个对Maven比较正式的定义是这么说的：Maven是一个项目管理工具，它包含了一个项目对象模型 (POM：Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理
2017-06-11 22:37:07
546
原创 大数据技术入门
1、SqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 对于某些NoSQL数据库，它也提供了连接器。Sqoop类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoo
2017-06-11 11:10:29
487
原创 scala札记
:q 退出sbt consoleMap的使用import scala.collection.mutable.Map case class StatusChangeMessage(addressId: Option[String], contactName: Option[String], extraParam:extraMessage)case class ...
2017-03-14 18:39:46
210
转载 Rest模式get,put,post,delete含义与区别(转)
POST /uri 创建 DELETE /uri/xxx 删除 PUT /uri/xxx 更新或创建 GET /uri/xxx 查看 GET操作是安全的。所谓安全是指不管进行多少次操作，资源的状态都不会改变。比如我用GET浏览文章，不管浏览多少次，那篇文章还在那，没有变化。当然，你可能说每浏览一次文章，文章的浏览数就加一，这不也改变了资
2017-03-11 10:58:08
218
原创 bootstrap
bootstrap的格式：[ { "id": 0, "name": "测试11111", "price": "¥0", "column1": "c10", "column2": "c20", "column3": "c30", "column4": "c40"
2017-02-22 20:53:07
176
转载 mysql拾遗
union all中使用order by子查询时需将含order by的子查询包在一个不含order by的查询里再进行union all。否则会报“Incorrect usage of UNION and ORDER BY”例如：1.错误用法： select id from test1 order by id union all
2016-11-24 09:39:25
190
原创 spark shell初识
1、入门启动hadoop、spark,用到的端口：50070,8088,8080,4040等，不一而定。进入spark shell:MASTER=spark://172.20.0.204:7077 ./spark-shell查看目录：hadoop fs -ls /
2016-10-29 16:16:28
414
转载 亚马逊云aws12个月免费服务器搭建小结
本文小结了在亚马逊aws（Amazon Web Services）云计算服务上注册一个免费的服务器的方法和一些注意事项。郑重申明：aws云计算的免费是有条件的免费，aws提供的服务计价以美元计算，对普通人而言非常昂贵，不能完全理解本博文的，请不要随便尝试。否则因此被计费，本人概不负责。注册准备：1，一个在用邮箱2，一张在用的有Visa或者Master标志的信用卡3，
2016-09-01 10:56:09
2835
原创 百度地图
// map.enableScrollWheelZoom();//// var point = new BMap.Point(116.404, 39.915);// map.centerAndZoom(city_name, 13);// var max=0;// var min=10000;// var
2016-07-05 09:24:01
251
原创 java程序命令行运行——札记
一般情况下：如果java 文件和jar 包在同一目录poi-3.0-alpha3-20061212.jar testTwo.java编译：javac -cp poi-3.0-alpha3-20061212.jar:. testTwo.java执行：java -cp poi-3.0-alpha3-20061212.jar:. t
2016-06-21 08:48:07
379
原创 js记录
var now = new Date();//每月多少日var monthOfFullDay = new Array(31,28,31,30,31,30,31,31,30,31,30,31);//当前日，在本年中第几日var currentDayOfYear = 0;//是否为润年，即能被4整除var isFullYear = false;var currentDayOfWe
2016-06-16 13:31:41
223
原创 JAVA窗口程序之入门
初次写窗口程序：出现方块，下面说说解决：第一：在你的具有main函数的类也即你应用运行的主类上点击右键，选择Run As中的Run Configurations，如下图：第二，在Arguments标签下的VM arguments中添加下面这行参数代码，然后点击应用。 -Dfile.encoding=GB18030
2016-04-28 10:15:27
384
原创 JAVA之一些好用的jar包
1、JARE：音频文件处理java切割wav音频文件http://lwjwd.iteye.com/blog/2025072?utm_source=tuicool&utm_medium=referral使用 JAVE 对音视频转码http://my.oschina.net/u/555639/blog/419026?fromerr=IhIRX1eA
2016-04-27 14:58:01
658
原创 JAVA之File文件处理
1、删除文件夹里的所有文件：File expire_audio_dir=new File("./clip_audio/");String[] expire_audio=write_audio_dir.list();for(int i=0;iFile expire_file=new File("./clip_audio/"+write_audio[i]);expire_file.
2016-04-27 14:52:40
224
原创 MySQL使用拾遗
1、 使用mysql_config_editor 创建一个加密登入如下： mysql_config_editor set --login-path=test --user=root --password -S /var/lib/mysql/mysql.sock --port=3306[root@mysql ~]# more .mylogin.cnf -------加密过后的文件是二进制
2016-04-21 09:04:05
266
原创 利用Google Analytics Api 获取数据——Google-api-python-client配置问题（二）
上一章节是在研究代码的基础上遇到的问题，本章节所述问题皆为应用实践中的困惑。1、在抓取数据的小程序push到heroku的云服务器上后，运行后能print结果，但是写不到指定的文件中，由于程序在本地运行是正常的，故程序本身并没有问题，还是在heroku的配置跟本地有所不同。2、如何从heroku云端将运行结果的文件传送回来，不需要手动输入密码，开始就想到了ssh无密码配置，但是并没有把he
2016-04-21 08:42:38
1277
原创 版本控制——入门
参考链接：http://www.open-open.com/lib/view/open1328069889514.htmlhttp://my.oschina.net/asktao/blog/632221http://www.bootcss.com/p/git-guide/ 同步remote文件到本地，更新本地，同步到master:1、设置好ssh2、git clone gi...
2016-04-15 10:52:12
330
原创 利用Google Analytics Api 获取数据——Google-api-python-client配置问题（一）
1、一直找不到在Google Analytics和Google APIs中新建的服务账号之间的关系，困扰好久，原因是没详细阅读API，如下记录：第一步：在Google APIs中，如下，先创建服务账号，将服务账号ID记录下来第二步：在Google Analytics中要新建用户，并绑定Web应用以及验证。然后在账户/媒体资源/查看上，将上面得到的服务账号ID填入到用户管理中。如下所
2016-04-13 20:25:52
3810
原创 2018俄罗斯世界杯亚洲区12强赛记录
这是我们的球队有人说梦想的力量是伟大的，它可以让你爆发出超越核弹的威力。对于梦想，我们有很多回忆和眷恋。你还记得那个让你丢掉游戏手柄，而去写数学卷子的梦想么？你还记得那个让你对心仪的姑娘说我要努力，而埋头苦读的梦想么？黄博文：89这一届最后一次机会，即使只有1%的机会也要努力!!!http://you.video.sina.com.cn/api/sinawebApi/outplayre
2016-03-30 13:22:46
839
转载 Java进阶之遍历Map
在Java中如何遍历Map对象How to Iterate Over a Map in Java在java中遍历Map有不少的方法。我们看一下最常用的方法及其优缺点。既然java中的所有map都实现了Map接口，以下方法适用于任何map实现（HashMap, TreeMap, LinkedHashMap, Hashtable, 等等） 方法一 在for-ea
2016-03-23 13:16:36
264
原创 HBase之基础命令
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录
2016-03-21 16:35:30
428
原创 触发器、存储过程和函数之拾遗
存储过程和触发器的区别的自我理解：存储过程可以通过程序或其他过程的调用进行执行；触发器虽然也算一种存储过程，但一般要靠insert,update,delete等操作的发生作为触发事件才被调用。存储过程可以使得对数据库的管理、以及显示关于数据库及其用户信息的工作容易得多。存储过程是 SQL 语句和可选控制流语句的预编译集合，以一个名称存储并作为一个单元处理。存储过程存储在数据库内，可由应
2016-03-21 16:27:49
207
转载 Java static——拾遗
Java static——拾遗Java Static：作为修饰符， 可以用来修饰变量、方法、代码块(但绝对不能修饰类)。1、修饰变量：类的所有对象共同拥有的一个属性，也称为类变量。这类似于C语言中的全局变量。类变量在类加载的时候初始化，而且只被初始化一次。在程序中任何对象对静态变量做修改，其他对象看到的是修改后的值。因此类变量可以用作计数器。另外，Java Static变量
2016-03-21 10:23:18
644
转载 深入理解Java的接口和抽象类
深入理解Java的接口和抽象类 对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲： 一.抽象类 二.接口 三.抽象类和接口
2016-03-15 17:20:06
284
转载 什么是NoSQL？
概念 NoSQL（NoSQL=Not Only SQL），意即“不仅仅是SQL”。 产生背景 随着web2.0的快速发展，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的社会性网络服务类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型、分布式数据存储则由于其本身的特点得到了快速的发
2016-03-03 17:59:06
369
转载 浅谈MySQL中优化sql语句查询常用的30种方法
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中
2016-03-02 21:05:41
319
原创 发邮件之Mutt详解
linux mutt详解 首先介绍一下mutt这个软件，它是一款基于文字界面的邮件客户端，非常小巧，但功能强大，可以用它来读写，回复保存和删除你的邮件，能在linux命令行模式下收发邮件附件。 我只讲它很小的一部分功能，因为我也是刚刚开始摸索这个软件。更多的用法请查阅官网：http://www.mutt.org 一、mutt的安装1yum -y inst
2016-03-02 13:16:59
3884
原创 sql语句之IN&&EXISTS
NOT IN使用：DELETE FROM userwhere NAME not in (select name from usermood);NOT EXISTS使用：DELETE FROMuser where NOT EXISTS (select from usermood where `user`.`name`=usermood.`name`);使用实例：放
2016-03-02 13:16:54
208
原创 CentOS6.x下配置sendmail发邮件
1、安装配置sendmail软件 yum install-y sendmail sendmail-cf m4设置Sendmail服务的网络访问权限vi /etc/mail/sendmail.mcDAEMON_OPTIONS(`Port=smtp,Addr=127.0.0.1, Name=MTA')dnl将127.0.0.1改为0.0.0.0，意思是任何主机都可
2016-03-02 13:16:49
1572
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人