- 博客(149)
- 收藏
- 关注
RSS订阅原创 python使用Pymysql连接数据库并写入数据
#!/usr/bin/python# -*- coding: UTF-8 -*-#首先导入模块pymysql,若出现报错没有此模块，就pip install pymysqlimport os,sys,pymysqldef get_ip():#使用os.popen模块执行shell命令查看本机ip,注意外围使用双引号而非单引号,并且假设默认是第一个网卡,特殊环境请适当修改代码 #out = os.popen("ifconfig enp0s3 | grep '...
2021-09-29 14:41:05
1254
原创 使用正则表达式截取本机ip
堡垒机：ifconfig|grep -oP '(?<=inet addr:)(?=(?!127\.0\.0\.1))\d+(\.\d+){3}'[appdeploy@CNSZ17VLK0922:/app/shell]$ifconfig|grep -oP '(?<=inet addr:)(?=(?!127\.0\.0\.1))\d+(\.\d+){3}'10.116.114.182虚拟机： [root@localhost tmp]# ifconfig enp0s3 | gr...
2021-09-29 14:39:07
393
原创 zeppelin 页面报错503
问题描述：zeppelin启动之后页面报错503解决办法：需要修改webapp的目录权限以及归属drwxrwxr-x 3 hadoop hadoop 4096 Sep 9 11:23 webappschmod 755 webappschown -R hadoop:hadoop webapps/修改完成之后重新启动zeppelin即可[hadoop@10 /usr/local/service/zeppelin-0.9.0/bin]$ ./zeppelin-da...
2021-09-09 14:15:39
495
原创 日志filebeat-kafka
架构图如上【kafka端】1.启动kafa./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 & # kafka-server-start.sh 脚本在 kafka_2.12-2.2.0/bin路径下2.查看topic./bin/kafka-topics.sh --list --zookeeper localhost:2181 | grep flum...
2021-09-01 15:29:43
167
原创 iostat
1,安装安装iostat: yum install sysstat2.命令详解 iostat-c： 显示CPU使用情况-d： 显示磁盘使用情况-N： 显示磁盘阵列(LVM) 信息-n： 显示NFS 使用情况-k： 以 KB 为单位显示-m： 以 M 为单位显示-t： 报告每秒向终端读取和写入的字符数和CPU的信息-V： 显示版本信息-x： 显示详细信息-p：[磁盘] 显示磁盘和分区的情况【iostat -xk 3】 3秒查询一次avg-cpu: %user
2021-08-25 11:47:02
115
原创 HBase日常问题处理
##1. ZK连接过多1) 查看ip连接数前十netstat -na | grep 2181 | awk '{print$5}' | awk -F : '{print$1}'| sort |uniq -c |sort -rn | head -n 10##2.补数操作hbase org.apache.hadoop.hbase.mapreduce.CopyTable -Dmapreduce.job.queuename=root.default -Dhbase.client.scanner...
2021-08-16 17:01:50
781
原创 HBase shell日常命令集锦
1. Table级别# 创建命名空间create_namespace 'ops'# 创建表create 'ops:member', {NAME=>'info', COMPRESSION=>'SNAPPY', TTL=>1296000}, {NAME =>'work', COMPRESSION=>'SNAPPY', TTL=>1296000}, {SPLITS => ['05','10','15','20','25']}# 查看表结构描述
2021-08-16 17:00:10
771
原创 HBase基于snapshot和copytable的 数据迁移
适用于过保替换以及业务迁移首先确认所迁移的集群容灾无业务访问，开启生产到容灾的同步desc 'rdmp:waybill_basedata' 查看表结构查看name 与是否开启同步 REPLICATION_SCOPE{NAME => 'f', REPLICATION_SCOPE => '1'} REPLICATION_SCOPE = > '1' 表示同步开启，0表示同步关闭##1.开启源生产到源容灾的同步：【现在已开启】##2.关闭源容灾到源生产所有表的反向同
2021-08-16 16:43:33
398
原创 saltstack通过Istate模块部署lamp环境
废话不多说，上代码：vim lamp.slshttpd_install: pkg.installed: - name: httpd httpd_running: service.running: - name: httpd - enable: True - require: - pkg: httpd_install - watch: - file: httpd_conf - file: php_conf ht
2021-04-22 14:28:51
147
原创 HBase单节点部署
本文主要介绍HBase单节点部署部署前准备：由于部署前需要安装JDK,请参考我之前的博客Jdk1.8.0安装目录1.获取安装包2.解压：3.修改配置文件，写入jdk4.以下配置将把HBase的数据存储在hbase目录下的testuser用户主目录中:5.启动服务：6.启动habse shell1.获取安装包[root@node1 local]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.
2021-02-24 11:25:12
1261
原创 hive 用insert overwrite修改指定分区内的数据
本文主要介绍insert oversite命令修改指定分区内的数据说明：insert overwrite：不支持指定插入列，只能使用insert into。命令格式insert {into|overwrite} table <table_name> [partition (<pt_spec>)] [(<col_name> [,<col_name> ...)]<select_statement>from <fro.
2021-02-07 09:49:59
16666
1
原创 数据库常用操作命令
本文是本人总结的数据库常用的一些操作命令；1.新建数据库：命令：create database 数据库名；示例：mysql> create database frost;Query OK, 1 row affected (0.00 sec)2.查看所有的数据库：命令：SHOW DATABASES；示例：mysql> SHOW DATABASES;+--------------------+| Database |+-...
2021-02-01 11:37:03
1290
原创 On Flink Standalone部署
本文主要讲解On Flink Standalone的部署Flink部署以及作业提交1、前置准备：用于编译源码的机器最好满足如下配置：CPU > 4核 内存 > 8G Note：我这里使用的机器配置是4核8G，如果内存太小编译环节会发生OOM（OOM:out of Memary 超出内存）2 、安装JDK(我本地安装的是1.8)[root@hadoop2 conf]# java -versionjava version "1.8.0_131"Java(TM
2021-01-29 10:59:19
186
原创 基于YARN进行提交任务
本文主要讲述基于YARN进行提交任务一、Flink On YARN概念理解Flink On YARN有两种模式：Session Per-Job（1）Session模式中多了一个JobManager共享YarnResourceManager和Dispatcher,在这种模式下，需要先向Yarn申请资源，初始化一个常驻服务在Yarn上。（2）Per-Job则相反，他是JobManager独享YARNResourceManager 和Dispatcher,也就是提交一个Job都会新建.
2021-01-29 10:41:12
189
原创 Apache Flink-1.11.2---环境部署
一、Apache Flink简述：分布式大数据处理引擎，可以对有限流和无限流进行有状态的计算，可以部署在各种集群环境，对大小的数据规模进行快速计算。基于数据流的有状态计算。二、环境部署1.环境说明：IP：192.168.56.77部署位置：/usr/flink/flink-1.11.22.下载地址：Wgethttp://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz.
2021-01-29 10:16:31
470
原创 hive sql 添加字段以及修改字段
1.hive新增字段sql格式：ALTER TABLE 表名 ADD COLUMNS (新增字段名 string comment ‘描述’);2.hive修改字段名，字段类型，描述等sql格式：ALTER TABLE 表名 CHANGE COLUMN 旧字段名 新字段名 STRING COMMENT '描述';...
2021-01-28 15:16:35
10023
原创 Python-1.6元组
一、元组的概念以及定义Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。比如：（元组即使没有圆括号，python 通常也能识别出）stock = ('GOOG', 100, 490.10)address = ('www.python.org',80)person = (first_name, last_name, phone)二、元组定义0个和1个元素的规范a =
2021-01-27 11:52:31
187
原创 hivesql---分析两张表的指定数据整合到第三张表的指定字段上
本文主要讲解利用hivesql分析两张表的指定数据整合到第三张表的指定字段上背景说明：从表一中拿取四种任务的总数作为表三中任务总数，表二中拿取task_id的总数作为表三中任务失败的总数，再在表三中算出告警率=任务失败告警总数/任务总数表一：dm_rtc_task_statistics_sum_mf序号 字段名 l类型 s说明 1 task_type string 任务类型 2 task_num_0 string 未运行 3 .
2021-01-25 14:26:07
1154
2
原创 手动执行shell脚本没问题，crontab执行少字段（实测已解决）
问题说明：我shell脚本手动执行没问题，写入cronatb执行少一字段原因： Linux下用crontab执行定时任务不会缺省的从用户profile文件中读取环境变量参数，所以经常导致在手工执行某个脚本时是成功的，但是到crontab中试图让它定期执行时就是会出错。这是因为用户登陆Linux操作系统的时候，”/etc/profile”, “~/.bash_profile”等配置文件会被自动执行，而crontab定时调度的时候可能不会执行配置文件。解决方案：Shell脚本缺省的...
2021-01-18 14:49:07
242
原创 crontab运行python脚本不生效问题
本文主要解决crontab运行python脚本不生效的问题问题描述：我设定了一个crontab执行python脚本，日志里面也有执行的过程，但是结果却不生效；我的crontab0 0 * * 0 /user/local/python /app/python/xxx.py通过筛查：（1）crontab服务开启（2）引用的路径都是绝对路径（3）服务器时间与本地一致我的日志也有执行的过程；最终定位原因：这时如果脚本中会有涉及读取配置文件或者读写文件的...
2021-01-11 15:01:37
3443
4
原创 python使用Pymysql连接数据库并写入数据
本文主要讲述python使用Pymysql连接数据库并写入数据1.首先讲连接数据库#!/usr/bin/python# -*- coding: UTF-8 -*-#首先导入模块pymysql,若出现报错没有此模块，就pip install pymysqlimport os,sys,pymysql#使用cursor()方法创建游标对象cursorcursor = db.cursor()#使用execute()方法执行sql查询当前版本cursor.execute('select
2021-01-11 11:34:14
1666
原创 python 截取一周（或者N周）的日期
本文主要讲述使用python 截取一周（或者N周）的日期#首先导入datetime模块import datetime#取现在的时间d = datetime.datetime.now()def day_get(d):# 通过for 循环得到天数，如果想得到两周的时间，只需要把8改成15就可以了。 for i in range(0,8): #(0,7)表示截取今天到七天前的日期，昨天到七天前的日期用（1,8） oneday = datetime.timedelta(d
2021-01-11 11:23:18
1399
原创 截取日期
"""截取日期；截取n天前的日期"""from datetime import datetime, datefrom datetime import timedeltadef get_date(days=n): # 格式化为 年月日 形式 2019-02-25 print((date.today() - timedelta(days=days)).strftime("%Y-%m-%d")) # 格式化为 年月日时分秒 形式 2019-02-25 10:56:58.
2020-12-29 20:27:37
222
原创 Python---1.5 列表
本文主要记录下python中的列表的内容1.列表的定义列表是任意对象的序列，把值放入到方括号中就可以创建示例：name = ["Dave", "Anna", "Mark"]列表使用从0开始的整数索引，使用索引运算符可以访问并且修改列表中的项：a = name[2] #返回列表中的第三项"Mark"name[0] = 'Frost' #将第一项改为"Frost"2. append()要将新项追加到列表末尾，可以使用append()方法：...
2020-11-25 15:02:00
312
原创 python--编写小学生算术能力测试系统
本文是用python编写小学生算术能力测试系统需求：设计一个程序，来帮助小学生进行百以内的算术练习提供10道加减乘除或四种基本算术运算的题目；练习者根据显示的题目输入自己的答案，程序自动判断输入的答案是否正确"""import randomcount = 0right = 0while count <= 10: a = random.randint(0,100) b = random.randint(1,100) op = ['+','-','*',.
2020-11-25 14:40:15
4030
1
原创 python--编写用户登录系统
本文主要是介绍用python写的一个用户登录系统：需求：（1）系统里有多个用户，用户的信息目前保存在列表中 users = ['root','admin'] passwd = ['123','456'](2)用户登录：（判断用户是否登录成功） 1）判断用户是否存在 2）如果存在： 判断密码是否正确； 如果正确，退出循环 如果不起正确，重新登录，总共有三次机会登录 3）如果用户不存在 重新登录，总共有
2020-11-25 14:38:12
11153
原创 python---会员管理系统
本文用python写了一个会员管理系统:"""后台管理员前台会员信息系统1.后台管理员只有一个用户：admin 密码：admin2.当管理员登陆成功后，可以管理前台会员信息3.当会员信息管理包含：添加会员信息删除会员信息查看会员信息退出添加用户：1）判断用户是否存在2）如果存在，，报错3）如果不存在，分别添加用户名和密码到列表中删除用户：1）判断用户是否存在2）如果存在，删除3）如果不存在，报错"""print('管理员的登录界面'.center(5
2020-11-25 14:29:53
6182
1
原创 Python---1.4 字符串
1.4 字符串要创建一个字符串变量，将字符串放在单引号，双引号，三引号中即可示例：a = "Hello World"b = 'Python'c = """Computer"""字符串储存在一个以0开始，使用整数索引的字符序列中。要提取其中的一个字符，可以使用索引运算符s[i]"""#提取字符示例：a = 'hello world'b = a[4]print(b) # 从0开始，第4个字符为'o'"""切片字符串 s[i:j]索引的范围是i<=k<j...
2020-11-23 15:22:27
216
1
原创 Python---1.3 文件的输入和输出
本文主要讲一下文件的输入和输出f = open("foo.txt") #返回一个文件对象line = f.readline() #调用文件的readline（）方法while line: print(line, end='') line = f.readline()f.close()"""open()函数返回一个新的文件对象,调用该对象可以在执行各种文件操作readline()方法读取一行内容，同样的程序可以简化为下面的形式："""for line i
2020-11-23 15:17:12
91
原创 Python---1.2 if和else语句
第二节学习一下if和else语句如何使用吧（1）最简单的if-else判断语句:if a < b: print("yes")else: print("no")（2）要创建一条空语句可以用pass;if a < b: passelse: print("no")#（3）使用or,and,not关键词可以建立布尔类型的表达式：if product == "game" and type== "pirate memory"
2020-11-23 15:02:20
182
1
原创 Python---1.1变量和算数表达式
以一个程序开始吧，这作为我学习python的一个笔记记录的地方，会持续更新！1.简单的复利计算principle = 1000 #初始金额rate = 0.05 #利率numyears = 5 #年数year = 1 #初始化year的值为1while year< numyears: principle = principle * (1 + rate) print(year, principle).
2020-11-23 14:54:06
184
原创 一不小心把pycharm的菜单栏搞不见了咋办
本人手贱一不小心把pycharm的主菜单栏搞丢了！尝试的办法恢复了，总结一下主菜单栏就是这个手残的过程实我点了这个：那咋恢复呀？！！在界面双击shift,将这个打开就好了!
2020-11-20 14:50:16
3501
3
原创 配置Hadoop3.3.0完全分布式集群
前言：本文主要介绍配置Hadoop3.3.0完全分布式集群；一、部署环境规划1.服务器地址规划2.需要部署的环境（1）关闭火墙（开机自启可以不设置）[root@localhost java]# systemctl stop firewalld[root@localhost java]# systemctl disable firewalldRemoved symlink /etc/systemd/system/multi-user.target.wants/firewa
2020-11-01 15:37:14
2499
原创 部署Hadoop（3.3.0）伪分布式集群
前言:本文主要介绍部署Hadoop（3.3.0）伪分布式集群注：本文部署伪分布式集群的前提是已经装好hadoop（3.3.0）以及jvm。一、什么叫做伪分布式？顾名思义，伪分布就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下Hadoop也就是虽然在一个机器上配置了hadoop的所有节点，但伪分布式完成了所有分布式所必须的事件。伪分布式Hadoop和单机版最大区别就在于需要配置HDFS。二、配置伪分布式Hadoop集群1...
2020-11-01 15:13:07
1615
原创 Hadoop-3.3.0的单机版测试和集群节点的搭建
前言：本文主要介绍对Hadoop-3.3.0的单机版测试和集群节点的搭建1. 下载hadoop-3.3.0安装包[root@localhost bags]# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz2. 添加hadoop用户并且设定密码[root@localhost~]# useradd -u 1000 hadoop [root@localho...
2020-10-30 18:02:40
393
原创 pip从9.0.1升级到20.2.4不可用
背景介绍：系统提示我升级pip，我就把它升级了：You are using pip version 9.0.1, however version 20.2.4 is available.You should consider upgrading via the 'pip install --upgrade pip' command我就使用命令升级：pip install --upgrade pip结果升级之后发现pip -V 报了这么一大堆错：[root@localhost ~
2020-10-26 15:50:27
1513
1
原创 flask使用模块flask_sqlalchemy来根据前端POST请求实现对本地数据库的增删改查（四）---查
上一篇文章已经讲过改了，这篇文章讲下根据id查询信息：话不多说，上代码：rom flask import Flask, flash,request, jsonifyapp = Flask(__name__)# 连接mysql数据库需要导入pymysql模块import pymysqlpymysql.install_as_MySQLdb()# 导入SQLAlchemy扩展：通过python对象操作数据库from flask_sqlalchemy import SQLAlchemy
2020-10-26 11:10:00
379
原创 flask使用模块flask_sqlalchemy来根据前端POST请求实现对本地数据库的增删改查（三）---改
上一篇文章已经讲过删了，这篇文章讲下改：（为了方便演示我创建了一个测试的数据:need_id为20的这些数据）话不多说，上代码：#根据id修改对应参数@app.route('/fix',methods=['POST'])def fix (): js = request.get_json() Need_id = js['need_id'] Title = js['title'] Applicant_name = js['applicant_name']
2020-10-26 11:04:15
325
原创 flask使用模块flask_sqlalchemy来根据前端POST请求实现对本地数据库的增删改查（二）---删
上一篇文章已经讲过增了，这篇文章讲下删：话不多说，上代码：@app.route('/delete',methods=['POST'])def delete (): js = request.get_json() Need_id = js['need_id'] #查询数据库是否有对应id的需求 Delete = need.query.get(Need_id) #如果id存在就删除 if Delete: try: db.ses
2020-10-26 10:55:54
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人