- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hadoop3.1.3:安装Kylin
首先进入页面：http://kylin.apache.org/cn/download/下载博主这里用到时hadoop3，下载对应的包wget https://mirrors.bfsu.edu.cn/apache/kylin/apache-kylin-3.1.2/apache-kylin-3.1.2-bin-hadoop3.tar.gztar -zxvf apache-kylin-3.1.2-bin-hadoop3.tar.gzmv apache-kylin-3.1.2-bin-hadoop3 /o
2021-06-08 15:11:15
295
原创 Hadoop3.1.3:安装Hbase
选择对应版本下载Hbase：wget https://downloads.apache.org/hbase/2.3.5/hbase-2.3.5-bin.tar.gz解压：tar -zxvf hbase-2.3.5-bin.tar.gz移动至对应目录：mv hbase-2.3.5/ /opt/module/hbase-2.3.5/配置环境变量：sudo vim /etc/profile.d/my_env.sh进入到conf目录：cd /opt/module/hbase-2.3.5
2021-06-07 17:22:18
1699
4
原创 Hadoop3.1.3:安装zookeeper
首先进到/opt/software/目录下，使用命令下载zookeeper包wget https://ftp.jaist.ac.jp/pub/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz解压：tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz移动至module文件夹mv apache-zookeeper-3.6.3-bin/ /opt/module/apache-zookee
2021-06-07 11:57:41
1152
原创 DataX准备4：在Linux8上安装DataX
1.centos8默认没有安装python，但在bin目录下有python的相关信息自己安装，使用yum install python2将python2设定为默认sudo alternatives --set python /usr/bin/python22.使用git cloune https://github.com/alibaba/DataX.gitmvn -U clean package assembly:assembly -Dmaven.test.skip=truecd D
2021-05-17 18:52:01
338
原创 DataX准备3：在Linux8上安装Maven
1.在官网下载安装包：http://maven.apache.org/download.cgi选择Linux64位的，将文件放到目录/usr/local/maven3下2.使用命令：tar vxf apache-maven-3.6.3-bin.tar.gz 解压3.修改环境变量vim /etc/profileexport MAVEN_HOME=/usr/local/maven3export PATH=PATH:{PATH}:PATH:{MAVEN_HOME}/bin #如果有PATH
2021-05-14 17:19:40
147
原创 DataX准备2：Linux上安装JDK
1.在官网下载需要版本的JDK包http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html账号：2696671285@qq.com密码：Oracle123账号提供者：https://blog.csdn.net/WNsshssm/article/details/843155192.使用命令行解压cd /usr/localtar -zxvf jdk-8u181-linux-x64.ta
2021-05-14 16:15:12
270
原创 DataX准备1：在Linux8上安装mysql
**1.**在官网：https://dev.mysql.com/downloads/repo/yum/找到对应Linux系统版本的mysql**2.**选择不登录**3.**将url复制出来得到rpm包地址https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm**4.**下载和安装mysql的源，使用wget命令加上复制下来的url地址5如果显示wget未找到命令，则需要先安装wget：yum -y inst
2021-05-14 14:27:04
227
原创 dataframe修改列名、连接数据库
load_data_result_df.rename(columns={"x" : "daily_date"},inplace=True)data.columns = ["aaaa","bbbb","cccc"]data["dddd"] = 1data2 = data[["aaaa","dddd","ccc"]]#对原始dataframe重组#sqlalchemy中create_engine用法engine = create_engine('dialect+driver://username:
2021-05-13 11:48:43
106
原创 python想要将账号密码隐藏起来使用的方式
import keyringMAGIC_USERNAME_KEY = 'im_the_magic_username_key'service_id = 'sa'username = 'sa'keyring.set_password(service_id, username, "123456")keyring.set_password(service_id, MAGIC_USERNAME_KEY, username)##执行完后可以稍后从钥匙圈获取账号密码import keyringM.
2021-05-12 17:19:51
819
原创 python获取系统时间
import datetimenow=datetime.datetime.now() #获取当前系统时间now.hour #小时now.minute #分now.year #年now.month #月now.day #日from datetime import datetime, date, timedeltaimport timenow = date.today() + timedelta(days = -1)month_first
2021-05-12 17:00:57
315
原创 powerquery网页取数
GETlet url="https://*****?date=1584892800%2C1585497599&shop_id=1", //Requset URL中?前面的部分 headers=[Cookie="*****"], //如果不需要登录请删除整行，同时删除下一行中的Headers=headers query=[], //Query String Parameters，即Requset U
2021-05-06 11:06:44
369
原创 sqlserver批量授权存储过程执行
使用SSMS授权存储过程的查看权限对应的数据库-》安全性-》用户名右键属性–》安全对象–》指定所有对象–》选择服务器，里边有一个 查看定义（view any definition） 选项，勾上。使用脚本批量授权存储过程的执行权限在存放存储过程的数据库中执行以下存储过程，将打印出来的sql批量执行一次，即可批量授权，[user_name]代表要授权的sql账户名；user databaseSELECT 'GRANT EXECUTE ON[dbo].[' + user_name + ']TO [use
2021-04-30 18:00:27
794
1
原创 SQLSERVER处理distribution数据库
USE [distribution]GODBCC SHRINKFILE (N'distribution' , 50)GOSELECT t.name AS TableName ,p.rows AS RowCountsFROM sys.tables tINNER JOIN sys.indexes i ON t.object_id = i.object_idINNER JOIN sys.partitions p ON i.object_id = p.
2021-04-24 23:55:43
703
原创 查询进程ID对应的SQL
SELECT c.session_id, c.net_transport, c.encrypt_option, c.auth_scheme, s.host_name, s.program_name, s.client_interface_name, s.login_name, s.nt_domain, s.nt_user_name, s.original_login_name, c.connect_time, s.login_time,q
2021-04-20 16:36:36
754
原创 sqlserver查询数据的所有表名和行数
//查询所有表明 select name from sysobjects where xtype='u'select * from sys.tables order by name //查询数据库中所有的表名及行数SELECT a.name, b.rowsFROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id = b.idWHERE (a.type = 'u') AND (b.indid IN (0, 1))ORDER BY a.nam
2021-04-15 18:13:11
360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人