哈尔科夫坦克厂的播客

原创 [渗透测试]虚拟机搭建内外网环境

需求说明 虚拟机三种网络模式的理解 虚拟机内外网的搭建需求说明：这两天在做内网渗透提权的测试中，准备搭建三台服务器，一台服务器是纯内网(也就是目标靶机)，一台是可以连接内网，也可以访问外网的中间靶机，另外一台就是攻击的虚拟机，这台虚拟机不能直接访问内网的靶机。查看虚拟网卡VMnet1和VMnet8网段如下：VMnet1：192.168.117.1VMnet8: 192.168.232.1网络拓扑图如下： 平时在使用虚拟机时大多数都是用的桥接模式，之前也用...

原创 【Flink】窗口起始点

import org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractorimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time..

原创 【爬虫】Selenium和chromedriver的安装使用

很久没有用过selenium爬过数据了，晚上想爬个东西，selenium各种报错，解决了问题后决定再写个安装使用的教程，以备将来出了问题能尽快解决。selenium、chromedriver的安装 1.pip install selenium 2.查看谷歌浏览器版本：chrome://version/ 3.下载对应的chromedriver ：http://npm.taobao.org/mirrors/chromedriver/ 4.解压chromedriver到.

原创 【爬虫】Drony的使用

写下近期爬虫遇到的一些问题和想法。1. 智联招聘web端不登录会有限制，最多访问5页2. 还是智联，app端会对安卓模拟器有限制，在打开代理或者fiddler时会报网络错误的提示，这个主要是做了ssl pinning检测的缘故（京东也有这个问题）解决办法：1. 安卓模拟器下载安装包，使用drony绕过ssl pinning检测2. fiddler抓包3. 找到接口，补全请求的参数图文说明(用拉勾演示)1.安卓模拟器下载、安装拉勾的app和drony2.测试lg可不可以正常打开以及使用

原创 【Scala】Idea中创建maven项目后，不能创建.scala文件

处理办法： 1、查看是否安装了scala插件，在 /settings/plugins/installed 中查看， 如果没有安装，先安装下，idea中安装scala插件下载比较慢，建议通过idm等工具下载到磁盘本地再进行安装。 2、新建一个scala文件夹，将文件夹属性改成 Resources Root,再新建scala文件*** 3、如果上面还不行，在settings->Build,Excution->Build Tools->Maven 中 .

原创 【爬虫】python爬取微信公众号

爬取微信公众号，一般有几种方式： 1、通过登录微信公众号平台，在里面去搜索要爬取的公众号，通过抓包等方式获取相应的接口； 2、通过安卓模拟器的方式去抓包； 3、通过搜狗的微信模块（https://weixin.sogou.com/） 4、其他等方式...这里使用第一种方式去爬取数据，当然了，首先你要有一个微信公众号账号。微信公众号 ： https://mp.weixin.qq.com1.登录微信公众号2.进入创作管理-图文素材-图文模板-编辑-添加引用-查找公众号文章.

原创 spark-shell连接异常问题

[root@node00 sbin]# /apps/spark-2.2.0-bin-hadoop2.7/bin/spark-shell --master spark://node00:7077Using Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesSetting default log le...

原创 安装Spark集群(简述)

前提:已经安装好hadoop集群和zookeeper,功能正常1.上传安装包(所有节点)(略)2.解压(略)3.修改配置文件 cd /apps/spark-2.2.0-bin-hadoop2.7/conf/ 1. vi spark-env.sh #在里面加入jdk和zk地址export JAVA_HOME=/usr/java/jdk1.8.0_191expo...

转载 Cloudera大数据平台环境搭建(基于CentOS7的虚拟机环境)

1.基础环境1.1. 软件环境系统环境:CentOS-7-x86_64-Minimal-1804.iso,离线安装CDH和Cloudera Manager过程,软件版本如下:NO. 软件名称 版本 1 操作系统 CentOS-7-x86_64-Minimal-1804.iso 2 JDK   3 Clouder Manager ...

原创 hdfs的运行机制

HDFS体系结构　　HDFS中运行着2类节点namenode、datanode。一个namenode、多个datanode，namenode和datanode以主从（master-slave）模式运行与HDFS集群中。 　　namenode为管理节点，执行对文件系统命名空间的操作，如：打开、关闭和重命名文件或目录；并且决定文件块与datanode之间的映射关系。　　datanode为...

原创 Scala的可变集合和不可变集合

    Scala 的集合有三大类：序列 Seq、集 Set、映射 Map，所有的集合都扩展自 Iterable 特质在 Scala 中集合有可变（mutable）和不可变（immutable）两种类型，immutable 类型的集合初始化后就不能改变了（注意与 val 修饰的变量进行区别）.   Scala的集合分为可变集合和不可变集合可变集合: 可以在适当的地方被更新或者扩展,可以...

原创 Linux下原生hadoop集群的搭建

简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好:==================================================================================1 ) 安装JDK并配置环境变量（/etc/profile）2) 关闭防火墙3) 配置hosts文件，方便hadoo...

原创 Linux下JAVA_HOME的配置

环境：CentOS6.6jdk1.8.0_141export JAVA_HOME=/usr/local/apps/jdk1.8.0_141export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$P...

原创 ElasticSearch（五） 核心元数据介绍

1、_index元数据2、_type元数据3、_id元数据============================================================================1、_index元数据（1）代表一个document存放在哪个index中（2）类似的数据放在一个索引，非类似的数据放不同索引：product index（包含了所有的商品...

原创 Linux环境下ElasticSearch单节点以及集群的安装

环境：Linux：CentOS6.6JDK: 1.8.0_141ElasticSearch:  elasticsearch-6.2.4.tar.gz在安装es之前需要提前配置好JAVA_HOME ------------------------------------------------------------------------------------------...

原创 ElasticSearch(四) group avg sort（fielddata erro)

1.group操作格式：GET /index/type/_search{"size": 0, --是否展示聚合过程 "aggs": { "自定义聚合名称": { "terms": { "field": "name" --聚合字段 } } }}示例GET /ecommerce/product/_

原创 ElasticSearch(三） 多种查询、搜索方式

1、query string search 2、query DSL3、query filter4、full-text search5、phrase search6、highlight search第一种：string查询（不适用于生产环境）1、query string search格式： GET /index/type/_search示例：GET /ecommer...

原创 ElasticSearch(二） api的介绍和使用

一、简单的api使用和集群管理命令（1）快速检查集群的健康状况es提供了一套api，叫做cat api，可以查看es中各种各样的数据查看集群的状态：GET _cluster/healthGET /_cat/health?v  （更详细展示集群的健康状况）epoch      timestamp cluster       status node.total node.d...

原创 ElasticSearch（一） 简单介绍

  ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。在安装之前需要提前配置好jdk的环境变量，根据安装的版本选择对应的jdk版本。windows版本的es在官网下载压缩包解压即可使用：在bin目录下选择.bat文件运行即可。验证是否成功：http://localhost:9200/?pretty...

原创 hive

一、建库语句--建库create database db_test;二、建表语句--建表语句和普通sql略有不同create table db_tabel(id int,name string...)row format delimitedfields terminated by ','; --指定分隔符--如果不加后面两行，这样建表会默认分隔符为：^A三、外部...

原创 Linux下Spark的安装和配置

一.安装JDK（略）二.安装Scala（l略）三.安装Spark  1.上传安装包到集群节点  2.解压安装包  3.修改配置文件a.spark-env.shvi spark-env.shb.slavesvi slavesc.修改master ui端口（ambari占用8080端口所以修改，如果8080端口没有被占用不需要修改）vi st...

原创 sqoop导入table报错

3.将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去。   sqoop create-hive-table --connect jdbc:mysql://node06:3306/gygh --table fact --username gygh --password gygh123 --hive-table fact 4.从关系数据库导入文件到hive中(hive中的...

原创 【windows】Win10软件字体模糊问题

原创 Kylin的搭建

安装的前提是hdfs，hive，hbase，mysql等已经安装完成。上传kylin的jar包：解压修改配置文件:export JAVA_HOME=/usr/local/apps/java/jdk1.8.0_60   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JRE_HOME=$JAVA_HOME...

原创 Ambari集群的搭建过程

节点规划：   1. 安装组件    yum –y install httpd yum –y install ntp yum -y install yum-utils yum -y install wget yum -y install createrepo yum -y install openssl yum -y install ruby* yum -y install redh...

原创 hbase region server频繁挂掉

异常如下:java.lang.RuntimeException: HRegionServer Aborted        at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:68)        at org.apache.hadoop.h...

原创 Kylin 在webUI加载hive表时报错:Fail to take action

这里引用别人的一张图片说明:这个问题应该是因为kylin在启动时没能加载到metadata的原因,解决办法:在kylin/conf/kylin.properties下找到如下配置:## The metadata store in hbasekylin.metadata.url=kylin_metadata@hbase将kylin_metadata@hbase 修改一下,比方说kylin_metad...

原创 windows环境下配置hadoop_home

昨天在windows上测试hadoop的相关代码,提示本地没有安装hadoop环境,于是解压了一个hadoop包扔在本地磁盘,并且配置了环境变量,在cmd运行hadoop提示没有找到相关的函数,查看了下安装目录 下share中没有其他的文件,这就明白了,解压的包不对.第一步:下载压缩包,不要解压上面带src的,解压后share中没有文件第二步:解压到指定目录第三步:...

原创 hive删除表报错：hive.metastore.api.MetaException javax.jdo.JDODataStoreException OPTION SQL_SELECT_LIMIT=

最近在做kylin相关操作时发现不能往hive里面crud，刚开始的时候以为是数据库有问题，各种修改数据库字符集，各种试都不行，hive -hiveconf hive.root.logger=DEBUG,console 看了下日志： ERROR hive.log: Got exception: org.apache.hadoop.hive.metastore.api.MetaException j...

原创 hdfs安全模式：

昨天因为win10崩溃导致虚拟机垮掉，当时正在启动ambari hadoop集群，这个时候崩溃了，导致重新启动虚拟机时出现namenode不能正常启动，报错：safemode：Call to localhost/127.0.0.1:9000 failed on connection exception ，开始以为是端口问题，后来发现不是，端口压根没有启动，后来想了下还是安全模式的问题，通过 hdf...

原创 ambari 第一次启动异常:没有mysql驱动

今天再次安装ambari时出现:java.lang.ClassNotFoundException: com.mysql.jdbc.Driver尝试使用:    yum install mysql-connector-java 或者将驱动包放在/usr/share/java 下并加载驱动进 ambari 的设置中ambari-server setup --jdbc-db=mysql --jdbc-d...

原创 httpd映射ip错误问题

在linux下安装httpd组件,由于刚开始使用的是本地局域网模式,导致在安装完之后httpd的映射为之前的局域网ip(192.168.2),查看了网卡ip已经切换成当前的(1**.2.16.25),看来是httpd配置文件错误,修改配置文件:/etc/httpd/conf/httpd.conf修改这个Server Name,之后重启httpd服务,ok本文参考:https://blog.csdn...

原创 配置本地yum源,本地rpm包存在但是安装时找不到的问题

在安装Ambari配置本地yum源时,通过命令yum instal ambari-server安装提示:http://192.168.1.2/ambari/AMBARI-2.4.1.0/centos6/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - "The requested URL returned error: 404 Not Found"...

原创 问题集

MySQL部分： 卸载mysql出现的小问题点击打开链接 

原创 hadoop生态集群的搭建

一.集群环境的搭建（虚拟机）： 点击打开链接二.JDK的安装 :点击打开链接三.Hadoop的安装和配置四.Zookeeper的安装和配置 :点击打开链接五.Hive的安装和配置以及使用六.HBase的安装和配置以及使用七.Flume的安装和配置以及使用八.Kafka的安装和配置以及使用九.Kylin的安装和配置以及使用十.Sqoop的安装和配置以及使用十一.MySQL的安装和配置：十二.Amba...

原创 Linux下JDK的安装与配置

1.  下载JDK2.  上传JDK至Linux系统(可以使用工具也可以ALT+P键直接拖动文件到文件夹)3.  解压JDK压缩文件至/usr/apps/  :(命令:  tar -zxvf  jdk-8u141-linux-x64.tar.gz -C /usr/apps/)4.  配置环境变量:         vi /etc/profile 在文件中添加:     export JAVA_HO...

原创 局域网内搭建虚拟机集群

虚拟机2台:(两台笔记本上临时搭建)DELL :8G内存Thinkpad:12G内存虚拟机版本号: vmware12系统版本: CentOS-6.6-x86_64-minimal.iso一.  虚拟机集群的搭建虚拟机的搭建主要分为以下几个部分:1.    虚拟机的安装2.    虚拟机系统安装3.    虚拟机系统配置文件的修改以及集群之间的通信连接 由于这里使用了两台笔记本,Dell上面的虚拟机...

原创 Hadoop集群的搭建(hdfs,yarn,zookeeper,hive,hbase,kylin,kafka,flume等)

(hdfs,yarn,zookeeper,hive,hbase,kylin,kafka,flume等)zookeeper集群搭建链接zookeeper集群搭建链接: 点击打开链接

原创 zookeeper集群搭建以及出现的小问题

 环境的配置:       在我搭建zookeeper集群部署之前,因为虚拟机等环境已经配置好了,所以这里不详述.       hosts里面之前配置的映射分别有: beijingHsh /xinjiangOIL /talimuEnery/hshEnery  四台服务器ip映射 一.上传压缩包到linux服务器二.对压缩包解压    执行: tar -zxvf  z...

原创 Linux下安装mysql出现的一些问题以及解决办法

在Linux上安装mysql出现了一些小问题,解决办法如下:           1.卸载存在残余,导致新安装mysql程序出现问题   2.安装完成之后,不能远程连接   3.设置新用户,赋予新用户权限  一. 卸载存在残余,导致新安装mysql程序出现问题      1. 通过命令rpm -qa|grep -i mysql   查看当前系统中安装