naxiaorongshixiatian的博客

原创 android移动安全

听了一个移动安全的分享会，暂时就把笔记记到这里吧。简单的描述下自己对android移动安全的理解在对android做渗透测试时，首先要脱壳，脱壳之后才能进行后续操作。android一般有自己壳，这个壳有免费的有收费的。我们首先需要先把dex变为jar脱壳，然后利用jd-gui读取jar里的java源码。可以读取jar里的java源码后针对客户端做一些代码审计、挖掘漏洞（敏感信息）等。针对服务端，可以利用hook（xpose、frida）工具勾住检测到你hook工具的代码，然后利用hook修改

原创 linux常用命令

1.将程序放到后台执行ssh服务断开时，它会给服务器一个hup信号，让服务器停止当前所有前台的命令，如果想让前台命令继续执行，就需要忽略ssh给到的hup信号。例如，平时我们执行命令时，为python test.py此时如果ssh服务断开，该命令也不再运行。如果在命令前面加入nohup，忽略hup信号，则断开时该进程可在后台继续执行 命令如下nohup python test.py >output.txt &这里>后面为输出重定向 & 为将其放到后台执行如果想

原创 python安装包时踩过的坑（一）

服务器上之前只有一个python2.7，有时候想用python3开发时，用pip安装的包都是python2的包，为了搞一个python3的独立环境，我们要用到下面这个玩意儿：virtualenv反正它就类似一个虚拟环境 在这里面我们可以搞一个python3 和外边的python2互不影响virtualenv安装步骤：pip install virtualenv # 安装virtualenv -p /usr/bin/python3 py3env # 起一个虚拟环境激活环境：source p

原创 sql中的join

sql语句中的join有以下几种：inner joinleft outer joinright outer joincross join全外联合inner join 等同于join 其运行结果如下图所示：left outer joinright outer joinfull outer joinwhere B.key=NULLwhere A.key=null...

原创 hive空值、NULL值判断

首先我们要明白：在hive中 空值和NULL是不等价的1.一种标示为NULLcolumn1column2dsfNULLDFSDFSddfff2.一种没有标示 直接为空值column1column2dfsfdfsfd如果是第一种，在表中显示为NULL，则在底层数据中，保存的可能为NULL或\n此时 通过语句column2 is null 即可查询为NULL的字段如果为第二种，在表中没有值，其表示的为字段不为null且为空字符串

原创 利用pyarango建立点、边表并进行简单的图查询

首先下载pyarango pip install pyarango --user1.和arangodb建立连接from pyArango.connection import *conn = Connection(arangoURL='http://127.0.0.1:8529', username='root', password='********')2.建立数据库if not conn.hasDatabase('my_db'): conn.createDatabase(name='my

原创 mac环境下arangodb安装教程

从网上下载dmg安装包安装即可这里主要说一下 arangodb安装好后可以通过/Applications/ArangoDB3-CLI.app/Contents/Resources/arangosh来启动arangodbarangodb在第一次登录时 默认账户为root 密码为空可以在arangodb自带的web界面下修改root密码具体步骤如下：点击root用户 进入以下界面：设置对应的密码即可。这样arangodb就可以使用啦...

原创 过拟合和欠拟合（一）

我们来看吴恩达教授预测房价的例子左边的图可以看到是一个线性拟合图，可以看到面积越大其房价越高。但实际数据分布则是房价高到一定程度会趋于平缓。我们认为该模型和实际数据之间存在一定的偏差。这种不能很好的拟合实际数据的情况，即为欠拟合（高偏差）右边的图可以看到是一个扭曲的多元曲线图，它在我们的训练数据上做了一个很好的拟合，但在测试数据上会过拟合，不具备泛化性，我们认为该模型对训练数据过度拟合这种过度拟合训练数据，对其他数据不具备泛化性的情况，即为过拟合（高方差）过拟合常常发生在一个变量或特征过多的情况.

原创 alexa前100万个域名下载

最近在尝试做DGA域名检测但网上的好多alexa网站前100万的数据都不是特别全 不是50多万 就是60多万在此补充一个有完整100万数据的下载链接（原博的链接找不到了，就先放自己的吧。。）链接：https://github.com/xiatiandemao/master...

原创 pandas利用str.contains筛选报错

在使用pandas对excel进行筛选时，df.loc[df['threat_type'].str.contains("DGA")]出现以下报错：ValueError: Cannot mask with non-boolean array containing NA / NaN values报的是 分组这一列中，包含了非字符串的内容，由于.str.contains的使用要求该字段必须为字符串，不能有数字等，故而 在代码上加上df.loc[df['threat_type'].str.conta

原创 利用nc命令传送文件夹

nc传输文件夹传输方：tar cfz - * | nc -v 1.1.1.1 9988接收方：nc -lv 9988 | tar xfvz - 其中 v代表输出信息

原创 关于mac地址可唯一标注一台主机 为什么还要有ip地址

查了下网上的资料，我目前的理解是1.转发问题mac地址虽然可以标注唯一一台主机，但是mac地址是无序的，网关在转发时，遍历世界所有的mac表，然后找到相应的主机进行转发显然是不可能的。而ip地址是有序的，他是根据地域来分的（国家+城市+分区+门牌号码），转发时寻找起来比较方便2.端口映射问题没有ip和ip协议 就没有端口映射，那么操作系统上的程序就无法进行通信。...

原创 大数据计算（分布式）--简单理解

大数据分布式计算出现原因：数据规模太大，单靠一台计算机无法处理分布式计算需要考虑的问题：分布式计算必然会涉及到不同计算机分工，计算负荷问题，计算机之间的数据迁移及计算机发生故障时数据如何处理的问题。下面就以上几个大致问题罗列几个需要考虑的情况。大量数据过来后，要考虑以下问题：由于是大量数据，则需要对数据进行分批操作，再分配给不同的计算机进行处理，在对数据进行分批操作时，需要考虑用哪种排序算法对数据进行排序分类操作。2.对于对数据进行排序分类及给不同计算机分配数据处理任务，是拿出一台专门的计

原创 【docker简单理解】

​由于要写dockerfile的漏洞插件，但是我又对docker不是很了解，所以在此就补上我目前对docker镜像的大致理解吧。1.docker镜像的base镜像在新建docker镜像时 需要依赖一个base镜像，base镜像一般是linux发行版的官方镜像，可以直接从官方网站上pull下来。网址：https://hub.docker.com/docker镜像一般很小，这主要是由于linux操作系统主要是由内核空间kernel和用户空间rootfs两部分构成，而docker镜像一般用宿主机上的内核空

原创 信息泄露（二）Dockerfile文件信息泄露

Dockerfile文件信息泄露Dockerfile文件介绍Dockerfile文件是用于构建docker镜像的文件。docker通过Dockerfile中的指令自动生成镜像。可利用docker build命令自动生成。其主要包括四个部分：基础镜像信息、维护者信息、镜像操作指令及容器启动时执行指令基础镜像信息：FROM :指定基础镜像（容器），必须为第一条命令MAINTAINE: 维护者信息（可选）RUN: 用于镜像容器的执行命令CMD：容器启动后执行指令。配置好Dockerfile之后，

原创 【信息泄露（一）：物理路径泄露】

信息泄漏–物理路径泄露访问某网址时在其后面随意加了一个参数。1.如果参数错误，返回内容什么都没有，只告诉你出错 ，则说明无信息可利用。2.如果参数错误，返回内容有物理路径，则攻击者可以利用该物理路径攻击服务器对于物理路径泄漏问题，可能由以下几个原因导致：1.开发者未关闭debug模式，导致参数错误时进入debug调试模式，将敏感信息泄露2.开发者未考虑参数错误问题，导致参数错误时进入未知界面（未知界面包含物理路径敏感信息）有以下几个修复方案：1.将debug模式关闭2.对于参数错误问题，定

原创 越权漏洞基础解释

越权漏洞由开发人员在对数据进行增删改查时过于相信客户端请求的数据而遗漏的对权限的判定而产生。其可以分为两种：水平越权和垂直越权水平越权：是指权限相同级别的用户之间可以进行越权访问修改或删除的操作。出现该漏洞，可能会造成大批量数据泄露，甚至可能会导致用户信息被恶意篡改。例如甲和乙是权限相同级别的用户。甲作为一个对象，和用户信息，订单，密码等其他对象关联乙作为一个对象，和用户信息，订单，密码等其他对象关联当我们用甲的信息登录系统时，可以得到甲的用户信息，订单及其密码等信息及请求这些对象的ID。由

原创 hive和hadoop的浅显理解

hadoop是一个分布式存储系统，他可以将我们的日志、数据等存储到不同的节点上（当数据十分大的时候），有时候一份数据会被存储到不同机器的不同磁盘上面。那么问题来了：我们想取出这么一整份数据并做对应计算怎么办呢？这个时候，mapreduce就应运而生。它是一个依托于hadoop上的计算引擎，主要就是对数据进行合并汇总等操作，本身并不存储数据。那hive是什么呢？hive是基于hadoop的一个数据仓库工具。由于mapreduce程序比较复杂，故而hive对他做了一层封装。它可以将我们写的hql翻译成

原创 网络安全-学习笔记（一）

关于偷数据的学习路径：文件读取：（XXE, SSRF漏洞）业务权限获取业务账号

原创 DNS服务

DNS是一种将主机名和域名转换为ip地址的一种服务。DNS的监听端口：tcp的53端口，udp的53端口DNS解析原理：当用户在浏览器输入域名时访问该网站时，操作系统首先会到自己本地的hosts文件（macos的hosts文件在/etc文件夹下）里面去看是否有域名和IP的映射，如果有就用该映射，如果没有，进行下一步如果host文件没有该映射，操作系统会查看本地的DNS解析器缓存（nslookup），看是否有映射关系，如果有，则直接返回，如果没有，则进行下一步若以上两者均无映射关系，则会先去找网络参

原创 关于查看服务器状态信息的命令总结

free -h参数详解：total:内存总数used:已经使用的内存总数free：完全空闲的内存shared:多个进程共享的内存buff/cache:用于文件内容的缓冲available：真正剩余的可以被程序应用的内存数。查看cpu、内存信息的命令uname -a # 查看内核/操作系统/CPU信息的linux系统信息head -n l /etc/issue # 查看操作系统版本cat /proc/cpuinfo # 查看CPU信息hostname # 查看计算机名的linu.

原创 Linux下如何从本地上传文件到服务器（有通道机同样适用）

以本地上传文件到远程服务器为例：先在服务器上激活监听nc -lv 2222 > a.py其中,l是listening的意思，对本地端口进行监听v是显示执行过程的简称。2222是我们自己开的端口。>是写入的意思a.py是待写入文件的名称（自己定义）然后在本地服务器上：nc -lv 1.1.1.1 2222 < b.py其中 1.1.1.1是远程服务器的IPb.py是要上传到远程服务器的文件。具体参考：https://blog.csdn.net/freeking1

原创 python中，将mysql数据读取到json文件中时，发现mysql里面有json数据

在用python读取mysql数据库信息时，发现mysql文件中含有的json格式数据被解析成了字符串格式。导致后来对数据进行过滤时无法过滤。解决此问题的方法是：将json格式数据两边的引号去掉即可（原因：mysql在存储json格式数据时将其转为了str格式）。即：new_data = eval(data)#去除字符串两边引号...

原创 item2配置问题

关于mac上配置item2+oh mu szh的问题点击这里了解完毕

转载 关于资产笔记（安全运维）

原创 从上到下打印二叉树

原理是二叉树的层次遍历可以用一个队列辅助，先将二叉树根节点入队，然后出队，将该节点存入vector中，之后判断根节点的左子树和右子树是否为空，若不为空，依次入队。然后出队，再访问出队的结点是否有左右子树，以此类推。核心代码：vector PrintFromTopToBottom(TreeNode* root){queue<TreeNode*> q;vector vec;q....

原创 创建单链表的c++版本实现+判断一个链表是否有环

#include <iostream>using namespace std;struct listNode{ int data; listNode *next; }LNode,*Linklist;listNode* create(listNode* p,int n){ listNode *head = new listNode();//初始化一...

原创 人脸关键点标注像素坐标为小数点的问题

关于人脸关键点小数点的像素问题：有些数据集中人脸关键点的标注不是整数，之前一直搞不通。图片的像素都是整数，标注怎么会出现小数呢23333。后来查阅资料，终于晓得了原因。图像的像素值开始都是整数，但是我们在对人脸关键点进行标注时，无论是通过传统方法还是深度学习的方法，都要依赖于周围区域的像素值。这就使得最终得到的人脸关键点不一定全是整数，有小数也是非常正常的一件事。...

原创 前端基础知识

前端基础知识万维网：建立在客户机/服务器模型之上，以超文本语言（HTML）与超文本传输协议（HTTP）为基础，提供面向Internet服务的、用户界面一致的主从结构分布式超媒体系统。其中服务器为web服务器，其提供由HTML编写的超文本文件（网页）和其他资源，它们既可以放在同一台服务器上，也可以放在不同服务器上。用户使用同一的客户端软件（浏览器）浏览服务器上的网页和资源。客户端浏览器的主要功能...

原创 CSS基础知识之字符样式属性、文本样式属性以及背景样式属性

CSS：层叠样式表。涉及三个方面的内容，一是样式定义；而是选择网页元素使用样式；三是在网页中嵌入样式的方式。1、 字符样式属性font-family：设置字体类型。font-size：设置字体大小font-style：设置字体风格（斜体什么的）font-weight：用来设置字体的粗细font-varient:设置字体变形color：用来设置字体颜色2、文本样式属性text...

原创 应用于素描人脸识别的迁移学习

论文————Composite Sketch Recognition via Deep Network - A Transfer Learning Approach2015年论文中使用了由稀疏栈自编码器（stacked sparse antoencoder ）和深度置信网络（Deep Belief Network）结合的网络，采用layer by layer unsupervised trai...

原创 判断漫画与人脸组件是否相似的一种方法

利用ASM将人脸分成eye、eyebrow、nose、mouth、hairstyle、face shape几个部位，这里主要讲人脸内部区域的相似度度量1、分别将组件的形状特征表示出来eye:由一个五维的向量组成。两个角度，形状系数、垂直度和离心率eye如上图所示两个角度可由上图得到形状系数 = 4piarea(eye)/(parimeter^2)垂直度 = area(eye)/are...

原创 KNN(最近邻)算法思想

KNN(最近邻)算法思想顾名思义，最近邻算法就是在前K个最有可能的结果中选取概率最大的那个结果。如上图，蓝点代表3个成绩不好的学生，红点代表3个成绩优秀的学生，X和Y轴分别代表学生的到课率和作业完成情况。如果现在有一个学生，其到课率位30%，作业完成度在40%，我们在图上找到该样本的位置，然后计算他到六个样本的距离，取该样本距离前K个样本最近的距离，然后看前K个样本中属于哪个类别的概率最大，...

原创 深度学习-初始化权值

深度学习–初始化权值 多层网络初始化w的时候，一般不初始化为0，会初始化为一个非0的很小的参数。 w初始值不宜太大，若w初始过大，z值过大，dz值过小，学习会很慢（对于激活函数为sigmoid或tanh函数而言）欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的...