自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4611)
  • 收藏
  • 关注

转载 celery 动态定时任务探索

环境:celery 4.3flaskpython 3.7linux需求:  动态添加定时任务,且方便维护。解决思路:  参考django-celery 或是celery源码,将定时任务配置放置到数据库中,从而维护数据达到动态定时任务到效果。  定时任务对应的是beat, beat将产生task给worker.beat的sche...

2019-09-26 10:27:00 606

转载 大数据各个工具随笔

# 基本配置```shell#目录结构: bin:二进制的客户端命令 etc:存放配置文件 etc/conf lib:存放jar包的目录 sbin:存放管理类的脚本启动服务 share:hadoop所有的jar包#查看主机名 hostname#临时修改主机名 hostname hadoop#永久修改主机名 vi /etc/sysconfig/network #查看主机ip i...

2019-09-20 21:01:00 4165

转载 【web系统UI自动化】关于UI自动化的总结

实施过了web系统的UI自动化,回顾梳理下,想到什么写什么,随时补充。首先,自动化测试不是手动测试的替代品,是比较好的补充,而且不是占大比重的补充。70%的测试工作集中在底层接口测试和单元测试,20%的测试工作为集成测试,其他10%的测试即为界面测试。开发方向:尽可能的相通的模块,通用的封装开发约定好,便于定位适用兼容测试无界面运行快速定位问题:报错信息、错误截图多...

2019-09-19 20:19:00 1388

转载 【接口自动化】selenium库也有大用场(获取cookie)

相信有些童鞋在做接口、或者说接口自动化测试的过程中会遇到这样的场景:测试的接口,必须是需要登录后才能发起请求成功的。那么怎么解决呢? 本着团队协作的精神,我们就去让开发同学开个后门,给你个“万能”值,那么你带着这个“万能”值在请求里,就可以畅通无阻了。但是也不是开发都愿意干这样的事儿,而且很多测试童鞋脸皮也薄(O(∩_∩)O哈哈~),脸皮薄不提倡啊。那么就自己的事儿自己来吧。既然...

2019-09-19 14:32:00 236

转载 初入Shell

shell第1章 Shell概述大数据程序员为什么要学习Shell呢?  1)需要看懂运维人员编写的Shell程序。  2)偶尔会编写一些简单Shell程序来管理集群、提高开发效率。  第2章Shell解析器  (1)Linux提供的Shell解析器有:[atguigu@hadoop101 ~]$ cat /etc/shells /bin/sh...

2019-09-19 09:15:00 261

转载 linux安装IB驱动方法

一、准备1、Linux操作系统7.6(根据实际情况变更,此处用redhat7.6系统举例)2、驱动:MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz(根据实际情况变更,此处用redhat7.6系统举例)二、解压缩命令:tar -xzvf MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz...

2019-09-18 14:11:00 1879

转载 页面可视化搭建工具技术要点

页面可视化搭建工具技术要点InWeb开发on 2019年07月30日 byTAT. cntchenview: 2,9060背景页面可视化搭建工具, 是互联网公司中常见的运营工具, 实现了运营人员快速生成和发布页面, 提升页面上线效率; 且无需开发人员介入, 节省开发人力.本文主要讨论: 设计和开发页面可视化搭建工具包含哪些技术要点.页面可视化...

2019-09-11 10:04:00 163

转载 Golang 调用 aws-sdk 操作 S3对象存储

Golang 调用 aws-sdk 操作 S3对象存储 Golang 调用 aws-sdk 操作 S3对象存储前言因为业务问题,要写一个S3对象存储管理代码,由于一直写Go,所以这次采用了Go,Go嘛,快,自带多线程,这种好处就不用多说了吧。基础的功能查看...

2019-09-09 12:08:00 3052

转载 【python开发】迈出第一步,这可能是我唯一一次的Python开发了

好久没写博了,今天就瞎唠唠吧背景:组内有个测试平台,是基于Python2+tornado 框架写的,之前自己维护了一套系统的UIweb自动化代码,现在需要集成进去。这很可能是自己唯一一次基于python开发了,后面组内要换java。难点:其实开发内容很简单,但是由于之前只写接口、UI这样的自动化,开发没实操过,难点来源于没实操过,比如:ajax交互、js、轮询等等。反正不懂的就...

2019-09-06 15:49:00 97

转载 第4章 DDL数据定义

第4章DDL数据定义4.1 创建数据库1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2)避免要创建的数据库已经存在错误,增加if not exists判断。(标准写法)hive (default)>...

2019-09-05 00:00:00 125

转载 第3章 Hive数据类型

第3章Hive数据类型3.1 基本数据类型对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。3.2 集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似,而STR...

2019-09-04 23:49:00 148

转载 第2章 Hive安装

第2章Hive安装2.1Hive安装地址  1.Hive官网地址  http://hive.apache.org/  2.文档查看地址  https://cwiki.apache.org/confluence/display/Hive/GettingStarted  3.下载地址  http://archive.apache.org/dist/hiv...

2019-09-04 23:42:00 143

转载 第1章 Hive入门

第1章Hive入门1.1 什么是Hive   Hive:由Facebook开源用于解决海量结构化日志的数据统计。  Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。  本质是:将HQL转化成MapReduce程序    1)Hive处理的数据存储在HDFS  2)Hive分析数据底层的实现是MapRe...

2019-09-04 23:16:00 84

转载 git整理

https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/0013760174128707b935b0be6fc4fc6ace66c4f15618f8d000/配置git身份信息:git config --global user...

2019-09-04 22:56:00 64

转载 Hive学习目录

大数据之Hive学习目录第 1 章 Hive入门  1.1 什么是Hive  1.2 Hive的优缺点    1.2.1 优点    1.2.2 缺点  1.3 *Hive架构原理  1.4 Hive和数据库比较第 2 章 Hive安装  2.1 Hive安装地址  2.2 *Hive安装部署  2.3 *将本地文件导入Hive案例  2....

2019-09-04 16:31:00 82

转载 CSS学习(一) box-sizing的应用

box-sizing兼容ie8,需要加前缀 -ms- ,但 IE9 浏览器开始就不需要私有前缀了。1、box-sizing的作用:box-sizing 顾名思义就是“盒尺寸”,其更准确的叫法应该是“盒尺寸的作用细节”,或者说得更通俗一点,叫“width 作用的细节”,也就是说,box-sizing 属性的作用是改变 width 的作用细节。“内在盒子”分别是“content ...

2019-09-04 16:27:00 107

转载 Hive笔记

* hadoop的主节点 hdfs集群启动用户下1 解压2 配置环境变量3 初始化元数据库hive命令初始化元数据库schematool -dbType derby -initSchemaschematool -dbType mysql -initSchema初始化元数据* mv metastore_db metastore_db.tmp1 vi hive-site.xml2...

2019-09-04 15:08:00 102

转载 Hbase写入流程图

写入流程图转载于:https://www.cnblogs.com/Diyo/p/11453995.html

2019-09-03 16:46:00 258

转载 META.表

META.表转载于:https://www.cnblogs.com/Diyo/p/11453985.html

2019-09-03 16:45:00 281

转载 hbase运行流程图

hbase运行流程图转载于:https://www.cnblogs.com/Diyo/p/11453983.html

2019-09-03 16:44:00 488

转载 9.hbase相关进程作用

1、协调服务组件ZookeeperZookeeper的作用如下:1. 保证任何时候,集群中只有一个HMaster;2. 存储所有的HRegion的寻址入口;3. 实时监控HRegionServer的上线和下线信息,并实时通知给HMaster;4. 存储HBase的schema和table元数据;5. Zookeeper Quorum存储-ROOT-表地址、HMas...

2019-09-03 16:43:00 579

转载 8.hbase写入流程和读取流程

1 hbase写入流程 hbase中无论是新增数据还是修改已有行,其内部流程都是一样的,hbase执行写入时会写到两个地方,write-ahead log 简称wal 也叫hlog 预写式日志 和 MemStore,hbase默认把数据先写到这两个地方,只有这两个地方的变化都写入并确认后,才认为写动作完成。 MemStore是内存中的缓冲区默认64m,HBase会把要写入的数据在这里...

2019-09-03 16:42:00 115

转载 7.hbase shell命令 cmd

$HADOOP_USER_NAME#创建命名空间create_namespace 'bd1902'#展示所有命名空间 list_namespace#删除命名空间,The namespace must be empty.drop_namespace 'IMUT'create 't1', 'f1', 'f2', 'f3'create 't1', {NAME =>...

2019-09-03 16:41:00 140

转载 6.ssh免密码登录原理图

ssh免密码登录原理图转载于:https://www.cnblogs.com/Diyo/p/11453956.html

2019-09-03 16:40:00 81

转载 4.设置静态IP

由于Ubuntu重启之后,ip很容易改变,可以用以下方式固定ip地址1.设置ip地址vi /etc/network/interface# The loopback network interfaceauto loiface lo inet loopback# The primary network interfaceauto enp0s3iface enp0s3 inet...

2019-09-03 16:39:00 79

转载 5.SSH 免密码登陆

SSH 免密码登陆serverA 机器上 userA 用户,想要免密钥登陆到serverB机器上1、集群中的所有机器 安装ssh 服务端sudo apt-get updatesudo apt-get install openssh-server2、查看ssh运行状态 ps -e | grep ssh如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行...

2019-09-03 16:39:00 86

转载 3.配置及其名ip映射

sudo vi /etc/hosts192.168.117.50 master192.168.117.60 slave1192.168.117.70 slave2192.168.117.80 slave3添加以上内容,避免有重复机器名出现转载于:https://www.cnblogs.com/Diyo/p/11453931.html...

2019-09-03 16:38:00 118

转载 2.修改机器时间或者时区

修改机器时间或者时区1修改时间sudo date -s "180718 10:03:00" 160614代表2016年6月14日2修改时区tzselect  按照提示进行选择时区,然后:  sudo cp /usr/share/zoneinfo/Asia/ShangHai /etc/localtime  执行  sudo ntpdate cn.pool.ntp.org...

2019-09-03 16:37:00 277

转载 1.配置文件内容

单机模式 部署创建目录sudo mkdir /home/briup/software/data/hbase/logssudo chown hbase:hadoop /home/briup/software/data/hbase/logs1 解压后 进入 hbase-2.0.1/conf 目录 修改 hbase-env.sh修改第一行,加入第二行export JAVA_HOME=/...

2019-09-03 16:36:00 122

转载 个人笔记

JDBC操作 固定6个步骤 1.注册驱动【源码装入内存 2.建立数据库连接 3.获取一个Statement对象 4.执行sql语句 5.处理结果集【如果有的话】 比较繁琐 用户自己提取数据 封装处理 6.释放资源结论: 1.jdbc操作固定6步骤 代码复用率太低 重复动作 2.结果集处理 过于繁琐 核心【Mapping 映射】 查询 表 --> 对象...

2019-09-03 16:08:00 93

转载 Mybatis_day3

三 使用XML配置SQL映射器(映射文件) 关系型数据库和SQL是经受时间考验和验证的数据存储机制。和其他的ORM 框架如Hibernate不同,【MyBatis鼓励】开发者可以直接【使用数据库】,而不是将其对开发者隐藏,因为这样可以充分发挥数据库服务器所提供的SQL语句的巨大威力。 与此同时,MyBaits【消除】了书写大量【冗余代码】的痛苦,它让使用SQL更容易。在代码里直接嵌套 很...

2019-09-03 15:22:00 121

转载 Mybatis_day2

二 mybatis配置详解MyBatis最关键的组成部分是SqlSessionFactory,我们可以从中获取SqlSession, 并执行映射的SQL语句。SqlSessionFactory对象可以通过基于XML的配置信息或者JavaAPI创建。而mybatis-config.xml配置文件就是SqlSessionFactory生成的基础。2.1 使用xml配置Mybatis...

2019-09-03 15:16:00 121

转载 捕获与改写HTTPS请求

前言本文站在macOS用户的角度下,分享一下对 HTTPS进行请求拦截、对响应进行修改的经验。要注意的是,本文介绍的工具虽然一定程度上对 Windows 用户也适用 ,但并非所有工具都是免费的。ProxymanProxyman可以免费使用,在安卓/IOS手机上也有相应的解决方案,如果只是监测请求,查看 API请求头及响应体,这个足够了。CharlesCharles...

2019-09-02 17:59:00 426

转载 Mybatis_day1

mybatis框架的引入: JDBC里面 对功能实现的进一步封装,可以按照以下方式操作 Student s = new Student(id,name); util.save(s);ORM: object relation mapping 【对象】【关系】映射 将对象 映射到 数据库中 类名 数据库表名 对象 一整行 数据成员 列 也映射关系: 1 ...

2019-09-02 14:10:00 156

转载 关于this

this1、在普通函数下,this的指向是window。2、有事件源,指向事件源本身。3、在定时器下(除es6),指向window。setTimeout(()=>{ console.log(this) },0)4、在对象下,this指向的是自己本身。转载于:https://www.cnblogs.com/mishiyang/p/11434966.html...

2019-08-30 14:51:00 158

转载 算法的时间复杂度

1.度量一个程序(算法)执行时间的两种方法事后统计的方法    这种方法可行, 但是有两个问题:    一是要想对设计的算法的运行性能进行评测,需要实际运行该程序;    二是所得时间的统计量依赖于计算机的硬件、软件等环境因素, 这种方式,要在同一台计算机的相同状态下运行,才能比较那个算法速度更快。事前估算的方法通过分析某个算法的时间复杂度来判断哪个算法更...

2019-08-29 17:08:00 86

转载 排序算法

排序算法1.排序算法的介绍  排序称排序算法(Sort Algorithm),排序是将一组数据依指定的顺序进行排列的过程。2.排序的分类  1)内部排序:    指将需要处理的所有数据都加载到内部存储器(内存)中进行排序。  2)外部排序法:    数据量过大,无法全部加载到内存中,需要借助外部存储(文件等)进行排序。  3)常见的排序算法分类    ...

2019-08-29 16:11:00 64

转载 什么情况下适合用UDP协议,什么情况下适合用TCP协议?

总的来说 TCP协议提供可靠的服务, UDP协议提供高效率的服务。高可靠性的TCP服务提供面向连接的服务,主要用于一次传输大量报文的情形, 如文件传输,远程登录等;高效率的UDP协议提供无连接的数据报服务,用于一次传输少量的报文。 即使发生传输错误,也可以重新传输并且不会为此付出多少代价。TCP提供的是面向连接的、可靠的数据流传输,可避免数据传输错误。 面向连接的协议在任何数...

2019-08-29 12:28:00 171

转载 用java编程在10000到99999中的数字中找到aabcc类型的数字

package com.diyo.offer;public class FindNum { public static void main(String[] args) { int count = 0;// 用于统计找的AABCC类型的数字的个数 for (int i = 10000; i <= 99999; i++) {...

2019-08-29 12:22:00 271

转载 数据库逻辑结构单元

数据库逻辑结构单元0:数据库逻辑结构包括表空间,段,区,数据块  1、数据库在逻辑上是由多个表间组成的,表空间中存储的对象是段;  2、段,由区组成,比如数据段,索引段,和undo段;  3、区,是磁盘分配的最小单位,是物理上连续的块,一个extent的大小是1M,由64个页组成;  4、块(页),在MySQL中块就是页,是数据库中最小的I/O单位,同时也是内存数据缓...

2019-08-29 12:15:00 266

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除