- 博客(26)
- 收藏
- 关注
RSS订阅原创 基于Centos7.6安裝CDH6集群
前提：所有cdh相关安装文件均放在master节点（cdh节点）的/root/cdh目录下1.2配置hosts文件echo -e ‘10.0.24.6 cdh\n10.0.20.2 cdh01\n10.0.20.7 cdh02\n10.0.20.10 cdh03’ >> /etc/hostscat /etc/hosts1.3关闭selinuxsetenforce 01.4关闭防火墙关闭防火墙systemctl stop firewalld.service关闭开机自启动systemctl di
2022-07-06 11:35:31
445
1
原创 基于centos7搭建hadoop生态--安装虚拟机
配置网络一、安装好虚拟后在菜单栏选择编辑→ 虚拟网络编辑器，打开虚拟网络编辑器对话框，选择Vmnet8 Net网络连接方式，随意设置子网IP，点击NAT设置页面，查看子网掩码和网关，后面修改静态IP会用到二、检查宿主机VM8 网卡设置，打开网络和共享中心→ 更改适配器设置→，在VMware Network Adapter VMnet8上单击右键，选择属性按钮打开属性对话框。三、在虚拟机右下角，点击网络适配器按钮，右键选择断开连接，然后再重新连接，确保刚才的设置生效。然后开启虚拟机，输入ifc
2021-11-09 10:14:54
200
转载 sql写随机抽样总结
一、Oracle取随机数据1、Oracle访问数据的基本方法：1）、全表扫描(Full table Scan)：执行全表扫描，Oracle读表中的所有记录，考查每一行是否满足WHERE条件。Oracle顺序的读分配给该表的每一个数据块，且每个数据块Oracle只读一次.这样全表扫描能够受益于多块读.2）、采样表扫描(sample table scan)：扫描返回表中随机采样数据，这种访问方式...
2019-07-26 15:23:52
4399
原创 python学习笔记-numpy
numpy是科学计算和数据分析的基础数据包ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组 。ndarray.ndim指的是数组的维度。ndarray.shape指的是数组的长度。ndarray.dtype指的是数组的类型。创建数组的时候最快速的方法是：用array函数，接受一切序列行的对象（列表、元组、字典、数组）然后生成一个新的numpy数组。还有别的...
2019-07-22 14:10:55
155
原创 Python常见错误
SyntaxError: (unicode error) ‘unicodeescape’ codec can’t decode bytes in position 2-3: truncated \UXXXXXXXX escape问题原因：在文件夹中复制地址时，文件夹中的地址是用 \ 来分隔不同文件夹的，而Python识别地址时只能识别用 / 分隔的地址。解决办法：将从文件夹中复制过来的地址中...
2019-06-18 17:09:53
116
原创 cmd中新建文件并对文件进行操作
新建空文件cd.>a.txt – cd 路径(.指当前路径)，>输出导向（在此新建），a.txt是文件名字type nul>a.txt 注意：是nul不是null。也是新建一个空的文件往空文件中写内容ECHO 内容>“文件名”如果有特殊字符要用到^,如写入">"就是:ECHO ^>>“文件名”2. 新建有内容文件及向文件中追加...
2019-06-18 16:39:42
3659
原创 python学习笔记10
标准库:Python标准库是一组模块，安装的Python都包含它。可以开始使用其他程序员编写好的模块了。可使用标准库中的任何函数和类，为此只需在程序开头包含一条简单的import语句。下面来看模块collections中的一个类——OrderedDict。from collections import OrderedDictfavorite_languages = OrderedDict...
2019-06-18 15:36:56
164
原创 python学习笔记9
类的创建：class Dog():‘’‘一次模拟小狗的简单尝试’’’def init(self, name, age):‘’‘初始化属性name和age’’’self.name = ahuaself.age = 3def sit(self):‘’‘模拟小狗被命令时蹲下’’’print(self.name.title() + " is now sitting.")def ro...
2019-06-13 11:12:04
109
原创 python学习笔记8
向函数中传递列表：def greet_users(names):‘’‘向列表中的每位用户都发出简单的问候’’’for name in names:msg=“Hello, “+name.title()+”!”print(msg)usernames = [‘hannah’, ‘ty’, ‘margot’]greet_users(usernames)在传递的时候直接用列表就可以了，把...
2019-06-12 18:25:23
170
原创 python学习笔记7
函数：就是代码复用的一个方法，是代码的一种组织形式。函数应该可以完成一项特定的工作，而且一般一个函数只完成一项工作。一般函数不要太长，长了的话就函数套函数，一般一个函数代码最多一屏幕，最好不要超过两屏幕。函数的使用：函数首先需要先定义，然后再调用函数。函数的定义：def func（）：。。。函数的调用：func（）eg：#这是定义： def inputs():...
2019-06-12 10:33:41
91
原创 python学习笔记6
用户输入：input（）函数input()让程序暂停运行，等待用户输入一些文本。获取用户输入后，Python将其存储在一个变量中，以方便你使用。注意：返回的都是文本，所以在我们需要的是数值的时候，需要使用函数来将其转换。message = input("Tell me something, and I will repeat it back to you: ")print(messag...
2019-06-11 19:06:50
111
原创 python学习笔记5
字典的学习：cars={}这是建立了一个空字典cars[ires]=‘hahaha’cars[waliu]=‘shenmegui’这是新增了两个字典的元素。包括key和value2. 字典的遍历：1）for i,k in cars.items(): print(i,k) 遍历所有的键和值 2）for i in cars.key...
2019-06-11 15:13:03
122
转载 oralce的plan和优化
如果要分析某条SQL的性能问题，通常我们要先看SQL的执行计划，看看SQL的每一步执行是否存在问题。 如果一条SQL平时执行的好好的，却有一天突然性能很差，如果排除了系统资源和阻塞的原因，那么基本可以断定是执行计划出了问题。 看懂执行计划也就成了SQL优化的先决条件。 这里的SQL优化指的是SQL性能问题的定位，定位后就可以解决问题。 一． 查看执行计划的三种方法 1....
2019-06-04 09:45:38
124
原创 python学习笔记4
python之禅：是一个对python的最好的解释，打开python解释器后，敲 import this 会出现的一系列说明，是一位牛人写的。对python的描述。格式设置：REP82.1 缩进：PEP 8建议每级缩进都使用四个空格，这既可提高可读性，又留下了足够的多级缩进空间。在字处理文档中，大家常常使用制表符而不是空格来缩进。对于字处理文档来说，这样做的效果很好，但混合使用制表符和空格...
2019-06-03 23:31:54
83
原创 python学习笔记3
列表非常适合用于存储在程序运行期间可能变化的数据集。。列表是可以修改的，这对处理网站的用户列表或游戏中的角色列表至关重要。然而，有时候你需要创建一系列不可修改的元素，元组可以满足这种需求。Python将不能修改的值称为不可变的，而不可变的列表被称为元组。定义：元组看起来犹如列表，但使用圆括号而不是方括号来标识。定义元组后，就可以使用索引来访问其元素，就像访问列表元素一样。dimens...
2019-06-03 21:32:57
80
原创 kettle学习笔记
kettle.properties是kettle软件存放全局变量的文件。在其中存放的变量可以在整个kettle软件中引用，引用时用${}符号，括号中填变量名。很多地方都可以引用全局变量，来简化填写。kettle的输入输出组件和脚本组件一、 输入组件1.1表输入从指定的数据库中，通过sql语句来查询数据加载到内存。允许简易转换：勾选后可以避免不必要的字段的数据类型转换，从而提高性能...
2019-06-03 14:18:39
346
原创 python3学习笔记2
1.组织列表1.1用sort方法永久性排序列表cars = ['bmw', 'audi', 'toyota', 'subaru']cars.sort()print(cars) 汽车是按字母顺序排列的，再也无法恢复到原来的排列顺序：[‘audi’, ‘bmw’, ‘subaru’, ‘toyota’]还可以按与字母顺序相反的顺序排列列表元素，为此，只需向sort()方法传递参数r...
2019-06-03 13:36:39
225
原创 python3学习笔记1
python3中整除用//，非整初用/python的数据类型有str、number、列表、字典、元组列表是有序的集合，其中的元素可以是任何数据类型。bicycles = [‘trek’, ‘cannondale’, ‘redline’, ‘specialized’]print(bicycles[1])4列表中值的修改：motorcycles = ['honda', 'y...
2019-06-03 09:35:12
122
转载 pip和conda两个安装python包的工具
Conda和pip通常被认为几乎完全相同。虽然这两个工具的某些功能重叠，但它们设计用于不同的目的。 Pip是Python Packaging Authority推荐的用于从Python Package Index安装包的工具。 Pip安装打包为wheels或源代码分发的Python软件。后者可能要求系统安装兼容的编译器和库。Conda是跨平台的包和环境管理器，可以安装和管理来自Anaconda ...
2019-04-10 17:31:06
1435
原创 Mac下的安装软件的工具
brew使用brew安装软件一个命令就搞定了， 比如安装gitbrew install git比如安装wgetbrew install wget使用brew卸载软件卸载更方便了brew uninstall wget使用brew查询软件有时候，你不知道你安装的软件的名字， 那么你需要先搜索下, 查到包的名字。比如我要安装brew search /wge*//wge*/是...
2019-04-10 17:28:26
197
转载 ETL面试题
ETL面试题What is a logical data mapping and what does it mean to the ETL team?什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式...
2019-03-22 00:02:44
3002
转载 数据库创建索引及sql优化
数据库索引:索引有单列索引复合索引之说如何某表的某个字段有主键约束和唯一性约束，则Oracle 则会自动在相应的约束列上建议唯一索引。数据库索引主要进行提高访问速度。建设原则:1、索引应该经常建在Where 子句经常用到的列上。如果某个大表经常使用某个字段进行查询，并且检索行数小于总表行数的5%。则应该考虑。2、对于两表连接的字段，应该建立索引。如果经常在某表的一个字段进行Order ...
2019-03-21 23:09:40
179
转载 sqlplus :command not found
之前在linux 下安装了oracle,今天登录启动的时候，报错sqlplus command not found.找不到sqlplus 也就是$PATH 环境变量下面没有把oracle_home\bin 目录加到环境变量里面。直接执行echo $PATH 发现没有。因为安装的时候记得在安装用户下面是设置过环境变量的。（如果是在系统的环境变量下面设置的就/etc/profile 里面查看下）...
2019-02-13 11:38:29
7313
原创 ORA-00376-ORA-01110
问题是数据文件无法读取。解决过程：1.登录到数据库中（dba），查询datafile的状态，select * from v$datafile ;发现出现问题的文件状态是recover，然后查询具体原因，到相应的数据文件挂载点新建文件，发现可读可写，说明挂载点没有问题，那就只是这个文件的问题。直接恢复：recover datafile 5 （5是datafile），返回成功后再次查询状态是o...
2019-02-13 11:34:55
1618
原创 Mac版kettle
直接把kettle的安装环境的那个文件夹拿过来，然后下载mysql-connector-java-5.1.46（mysql的java驱动），解压后把jar包放到kettle文件夹的lib中（放jar包的位置）。就可以了...
2018-12-18 22:15:08
1727
原创 oracle锁表
oracle锁表当我们delete or truncate 一张表的时候，返回ora-00054资源正忙那就可能是表被锁了：有个进程一直在占用。操作如下：select session_id from vKaTeX parse error: Expected 'EOF', got '#' at position 45: …ect sid ,serial#̲,username,osuse…s...
2018-12-18 11:07:00
326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人