- 博客(49)
- 收藏
- 关注
RSS订阅原创 HBase Filter使用简要
创建表create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value)– sf: column family of STRING values导入数据put 'test1', 'user1|ts1', 'sf:c1', 'sku1'put 'test1', 'user1|ts2', 'sf:c1', '...
2019-08-29 10:38:50
333
原创 Spark读取压缩文件性能分析
引言HDFS上分布式文件存储，成为大数据平台首选存储平台。而Spark往往以HDFS文件为输入，为保持兼容性，Spark支持多种格式文件读取，大数据场景下，性能瓶颈往往是IO，而不是CPU算力，所以对文件的压缩处理成为了很必要的手段。Spark为提供兼容性，同时支持多种压缩包直接读取，方便于用户使用，不用提前对压缩格式处理，但各种压缩格式各有优缺点，若不注意将导致Spark的能力无法发挥出来。故...
2019-08-23 14:18:49
2330
1
原创 Regarding Spark paramters(executors, memory)
Ever wondered how to configure --num-executors, --executor-memory and --execuor-cores spark config params for your cluster?Let’s find out how…Lil bit theory: Let’s see some key recommendations that...
2019-08-14 17:07:56
253
转载 Container killed by YARN for exceeding memory limits. 10.4 GB of 10.4 GB physical memory used
执行spark时遇到这种问题，最开始–executor-memory 设为10G，到后来20G，30G，还是报同样的错误。1.一种解决方法网上大部分都说要增加spark.yarn.executor.memoryOverhead，先是2048，然后4096，后来干脆增加到15G（并将executor-memory调小到20G），不再报错。但一直很郁闷，到底是为什么呢？首先可以肯定的一点是增加...
2019-07-30 15:32:05
1277
原创 Hbase统计行数的三种方法
count命令hbase> count ‘t1′hbase> count ‘t1′, INTERVAL => 100000hbase> count ‘t1′, CACHE => 1000hbase> count ‘t1′, INTERVAL => 10, CACHE => 1000INTERVAL为统计的行数间隔，默认为1000，CACHE...
2019-06-26 11:29:17
1519
原创 Hive笔记
从HDFS上创建表JSON格式：create external table sonar_https(host string,ip string,path string,port int,vhost string,data string)ROW FORMAT SERDE ‘org.apache.hive.hcatalog.data.JsonSerDe’STORED AS TEX...
2019-06-20 17:38:01
95
原创 hbase shell常用操作
1). create 命令创建一个具有两个列族“grad”和“course”的表“scores”。其中表名、行和列都要用单引号括起来,并以逗号隔开。hbase(main):012:0> create ‘scores’, ‘name’, ‘grad’, ‘course’2). list 命令查看当前 HBase 中具有哪些表。hbase(main):012:0> list3)...
2019-02-27 17:15:05
333
原创 pyspark常用指令
Spark 2.2之后版本DataFrame操作读取数据——来源于RDD转换from pyspark.sql.types import Rowdef f(x):rel = {}rel[‘srcIP’] = x[14]rel[‘desIP’] = x[16]rel[‘signature’] = x[111]rel[‘eventClass’] = x[151]return rell...
2019-02-27 17:10:50
1321
原创 《营销：人人都需要的一门课》学习笔记
营销的本质：吸引和保留顾客案例：好市多（Costco）美国最大的连锁会员制仓储量贩店。用不限时间的无理由退货服务条款来吸引顾客。采用会员年费制度，缴纳一笔不小会员费之后才能进入购物，让顾客有种多去购物会员卡才不亏损的错觉，通过这种方式留存客户。同时保证商品质量很高，价格低廉。让顾客觉得会员费没有白花。顾客满意度很高最终的收入报表中收入年费远大于商品收入总结得到如下观点——营销的...
2019-01-30 15:02:43
1719
转载 Linux应急响应流程及实战演练
【若侵权请联系删除】本文作者：bypass（信安之路作者团队成员 & 个人公众号 bypass）当企业发生黑客入侵、系统崩溃或其它影响业务正常运行的安全事件时，急需第一时间进行处理，使企业的网络信息系统在最短时间内恢复正常工作，进一步查找入侵来源，还原入侵事故过程，同时给出解决方案与防范措施，为企业挽回或减少经济损失。  常见的应急响应事件分类：web 入侵：网页挂马、主页篡改...
2018-10-16 10:34:30
1398
转载 Windows应急流程及实战演练
【若侵权请联系删除】本文作者：bypass（信安之路作者团队成员 & 个人公众号 bypass）当企业发生黑客入侵、系统崩溃或其它影响业务正常运行的安全事件时，急需第一时间进行处理，使企业的网络信息系统在最短时间内恢复正常工作，进一步查找入侵来源，还原入侵事故过程，同时给出解决方案与防范措施，为企业挽回或减少经济损失。  常见的应急响应事件分类：web 入侵：网页挂马、主页篡改、...
2018-10-16 10:31:19
1008
转载 Linux进程前后台切换技巧
在Linux里进程前后台相关的主要有一下几个操作： command & //将进程放在后台执行 ctrl-z //暂停当前进程 并放入后台 jobs //查看当前后台任务 bg //将任务转为后台执行 fg //将任务调回前台 kill //杀掉任务如果我们在终端中直...
2018-09-12 14:33:49
4018
1
原创 *inux 提权资料收集
指南概述这只是一个粗略的基本指南。 由于Linux系统版本间差别非常大，并不是每个命令都适用于每个系统。 枚举是关键！ （Linux）的提权是怎么一回事： 收集–枚举，枚举和一些更多的枚举。 过程–通过数据排序，分析和确定优先次序。 搜索–知道搜索什么和在哪里可以找到漏洞代码。 适应–自定义的漏洞，所以它适合。每个系统的工作并不是每一个漏洞“都固定不变”。 尝试–做好准备,试验...
2018-02-27 17:16:52
252
原创 Windows提权资料搜集
指南概述在每个部分中，首先提供老的可靠的CMD命令，然后是一个Powershell实现的的等价命令。同时拥有这两种工具是非常好的，Powershell比传统的CMD更加灵活。然而，没有一个Powershell命令能等价于所有东西（或者CMD在某些事情上仍然更简单更好），所以一些部分将只包含常规的CMD命令。命令了解操作系统类型和架构？它是否缺少任何补丁？ systeminfo ...
2018-02-26 17:01:21
443
原创 命令注入突破长度限制 | 从CTF题目讲起
在命令注入中往往会存在注入命令的长度过短的情况，无法将全部命令完全的输入进去，这种情况下就需要我们来想办法突破系统命令长度的限制。我们从三道CTF题目来讲解一下这种渗透策略。一.BabyfirstSovled: 33 / 969 Difficulty: ★★ Tag: WhiteBox, PHP, Command InjectionIdeaUse NewLine to bypass regula
2017-12-03 19:11:51
7147
原创 Powershell在内网渗透中的利用
Powershell作为CMD的增强版，因为其可以直接调用.Net及COM对象而实现许多CMD无法实现的功能，所以在Windows在使用Powershell成为了更多人的首选，同时也吸引了黑客，各种花式调用在内网渗透中。借鉴网上各种资料，记录总结一下。
2017-09-13 15:36:41
3632
转载 X86-64寄存器和栈帧
X86-64寄存器和栈帧概要说到x86-64，总不免要说说AMD的牛逼，x86-64是x86系列中集大成者，继承了向后兼容的优良传统，最早由AMD公司提出，代号AMD64；正是由于能向后兼容，AMD公司打了一场漂亮翻身战。导致Intel不得不转而生产兼容AMD64的CPU。这是IT行业以弱胜强的经典战役。不过，大家为了名称延续性，更习惯称这种系统结构为x86-64X86-64在向后兼容的同时，更
2017-03-17 16:55:19
509
转载 Shell重定向
shell重定向介绍 就像我们平时写的程序一样，一段程序会处理外部的输入，然后将运算结果输出到指定的位置。在交互式的程序中，输入来自用户的键盘和鼠标，结果输出到用户的屏幕，甚至播放设备中。而对于某些后台运行的程序，输入可能来自于外部的一些文件，运算的结果通常又写到其他的文件中。而且程序在运行的过程中，会有一些关键性的信息，比如异常堆栈，外部接口调用情况等，这些都会统统写到日志文件里。
2016-12-28 17:32:08
262
转载 Linux权限管理
一、基本权限 linux权限机制采用UGO模式。其中 u（user）表示所属用户、g（group）表示所属组、o（other）表示除了所属用户、所属组之外的情况。u、g、o 都有读（read）、写（write）、执行（excute） 三个权限，所以UGO模式是三类九种基本权限。 用命令 ls -l 可列出文件的权限，第一列输出明确了后面的输出（后面一列代表 ugo权限
2016-12-27 09:47:39
431
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人