WY_SHIJI-CSDN博客

原创 linux 环境下面 mysql重置root密码(自用)

重置root用户密码第一步：跳过MySQL的密码认证过程,配置my.cnf文件[root@ora01 ~]\# whereis my #查找自己服务器my.cnf文件位置[root@ora01 ~]\# vim /etc/my.cnf #编辑my.cnf文件vim> ：/ mysqld #在编辑模式查询[mysqld]的位置在[mysqld]后面任意一行添加 skip-grant-tables 然后保存文档并退出。

2020-12-08 16:20:04 388

原创三种Oracle批量导出数据库表结构（建表语句）方法

1 使用PLSQL客户端依次打开 Tools ---> Export User Objects--->设置sql文件存储路径--->鼠标点击目标表（可多选）--->点击Export 2 使用EXP、IMP命令（windows） win+r 输入 cmd 打开dos控制台 exp username/passwd@oracle_ip:1521/db_name file=d:\dba\table.dmp rows=n tables=(table1,table

2020-09-25 16:12:34 20610

转载 Oracle中用exp/imp命令参数详解

Oracle中用exp/imp命令参数详解【用 exp 数据导出】： 1 将数据库TEST完全导出,用户名system 密码manager 导出到D:\daochu.dmp中 exp system/manager@TEST rows=y indexes=y compress=n buffer=65536 &...

2020-09-25 16:04:27 1235

原创常用邮箱服务器地址大全截止2020-9

常用邮箱smtp服务器地址大全阿里云邮箱（mail.aliyun.com）:pop3服务器地址:pop3.aliyun.com（SSL加密端口：995；非加密端口：110）smtp服务器地址:smtp.aliyun.com（SSL加密端口：465；非加密端口：25）IMAP服务器地址：imap.aliyun.com（SSL加密端口：993；非加密端口：143）谷歌邮箱(google.com)：pop3服务器地址:pop.gmail.com（SSL启用端口：995）smtp服务器地址:smtp.

2020-09-10 16:23:24 126985

原创 Linux kswapd0 CPU占用过高

kswapd0进程它是虚拟内存管理中，负责换页的，操作系统每过一定时间就会唤醒kswapd ，看看内存是否紧张，如果不紧张，则睡眠，在 kswapd 中，有2个阀值，pages_hige 和 pages_low，当空闲内存页的数量低于 pages_low 的时候，kswapd进程就会扫描内存并且每次释放出32 个free pages，直到 free page 的数量到达pages_high。通过阻止kswapd0进程过渡活跃地消耗CPU的方法是设置大页内存。这个进程经常出现，导致我的脚本出错。暴力解

2020-08-26 10:49:58 546

原创腾讯云服务器操作卡顿，非网速(已解决)

因：某日一脚本失败，使用xshell连接腾讯云服务器，发现卡顿。于是查看了服务器网速，磁盘空间均正常。寻：咨询客服：或是/var/log/btmp文件过大导致。打开这文件发现好多未知ip频繁登录文件很大，靠！这还得了？果：第一步：查看是否有多次登录的异常lastb | awk '{ print $3}' | sort | uniq -c | sort -n #查看登录最狂的ipiptables -I INPUT -s 0.0.0.0 -j DROP #禁止0.0.0.0这个IP访问服务器i.

2020-08-26 10:25:32 4299

原创 shell_变量的删除替换与字符串的处理

变量功能写法描述删除 ${变量#匹配规则} 从头开始匹配，最短删除 ${变量##匹配规则} 从头开始匹配，最长删除 ${变量%匹配规则} 从尾开始匹配，最短删除 ${变量%%匹配规则}...

2020-08-24 14:58:18 251

原创 selenium 自用方法封装

#!/usr/bin/env python# -*- coding: utf-8 -*-''' @Time : 2020/8/18 14:13 @Author : Shiji @Site : @File : common.py @Software: PyCharm'''# -*- coding:UTF-8 -*-from selenium import webdriverimport time,osfrom PIL import Imageimpo

2020-08-20 17:14:52 370

转载 selenium中，用xpath定位当前元素的相邻元素/兄弟元素

【背景】在定位页面元素时，有时候需要根据某个元素特征，去定位其相邻元素/兄弟元素，或者定位其父元素的兄弟元素（或叔伯元素的子元素）。这里引入xpath的两个定位方法：preceding-siblingfollowing-sibling【示例】如图，页面元素A，B，C，假设我不知道B和C的name，只知道A的name，我想根据A的name去其上一个元素的name和下一个元素的name，<div class="ztag201008041230345 clearfix mbox">&lt

2020-08-20 16:56:45 4412

转载 Python&Selenium-显式等待方法的封装使用~

# 用于实现智能等待页面元素的出现# encoding = utf-8from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECclass WaitUtil(object): def __init__(self, driver

2020-08-20 15:54:29 1167

转载 Selenium之find_element_by_css_selector()的使用方法

以百度搜索首页为例，我们要定位到搜索输入框的话，应该如何写呢？单属性查找# 1.用标签名定位查找driver.find_element_by_css_selector("input")# 2.用 id 属性定位查找 driver.find_element_by_css_selector("kw")# 3.用 class 属性定位查找driver.find_element_by_css_selector("s_ipt")# 4.其他属性定位driver.find_elemen

2020-08-20 15:44:25 34271 3

原创 selenium学习文档

https://selenium-python.readthedocs.io/#selenium-with-python

2020-08-20 15:36:18 238

原创 Selenium—选择框的相关操作（单选框、多选框、复选框、下拉框）

编辑框文本编辑框-------------------------------------------------------------------------------------------------------------------------------- #输出框无缺省值 driver.find_element_by_id(页面元素id).send_keys('selenium') #输出框有缺省值 driver.find_element_by_id(页面元素id).cl

2020-08-20 15:23:02 4648

原创 python自动化问题：去除“Chrome正在受到自动化测试软件的控制“与关闭登录密码保存提示

标题最近在写办公自动化脚本，强迫症的我遇到如下不爽问题，特此记录下。问题截图Chrome正在受到自动化测试软件的控制需要保存密码吗？？？解决：from selenium import webdriver# 加启动配置option = webdriver.ChromeOptions()# 1.新版本谷歌浏览器-解决控制提示option.add_experimental_option("useAutomationExtension", False)option.add_experi

2020-08-20 11:28:51 1600

转载 python安装 Tesseract-OCR，tesserocr

一、安装Tesseract-OCR要安装tesserocr，首先要下载tesseract，它是给tesserocr提供支持的。分享链接：https://pan...

2020-08-20 11:01:03 364

原创 hive 常用日期格式处理

固定日期转换成时间戳* select unix_timestamp('2016-08-16','yyyy-MM-dd') --1471276800* select unix_timestamp('20160816','yyyyMMdd') --1471276800* select un...

2020-04-29 16:30:25 754

原创分区注册信息刷新

有时候遇到hdfs上表的数据目录里有数据文件，但是select表没有数据的情况。通常是从别的地方复制过来或者新上传数据文件没有刷新表分区注册信息导致的。解决方案：1、添加表分区的方式（配合脚本批量添加） Alter table tablename add partition (partitionname1=xx,partitionname1=yy) location 'data_...

2020-04-29 16:23:22 133

原创 hive 基础命令demo

*命令wiki超链接:*https://cwiki.apache.org/confluence/display/Hive/LanguageManual创建1.创建新表 create table t_hive ( a int , b int , c int) row format delimited fields terminated by '\t';2.创建分区表dr...

2020-04-29 15:54:00 227

原创数仓_理论整理1

OLTP/OLAP联机事务处理: OLTP,全称On-line Transaction ProcessingOLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。联机分析处理: OLAP,全称On-line Analytical ProcessingOLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP ...

2020-04-28 17:14:43 227

原创数仓_若只是初见

1.什么是数据仓库：一个⾯面向主题的 (Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)反映历史变化(Time Variant)的数据集合,用于⽀持管理决策(Decision Making Support)。同时也是一个将源系统数据抽取、清洗、规格化、提交到维度数据存储的系统，为决策的制定提供查询和分析功能的支撑与实现。2.为啥需要...

2020-04-28 11:36:38 193

原创 python_09 文件、异常及存储

文件和异常文件读取文件逐行读取file_name = 'pi_digits.txt'with open(file_name) as file_object: for line in file_object: print(line)创建一个包含文件各行内容的列表file_name='pi_digits.txt'with open(file...

2020-04-27 11:16:19 221

原创 python_08 类

类创建和使用类创建Dog类:dog.pyclass Dog(): def _init_(self,name,age): self.name=name self.age=age def sit(self): print(self.name.title() + " is now sitting.") def roll_o...

2020-04-27 11:15:02 125

原创 python_07 函数原理

函数定义函数def greet_user(): print("Hello!") greet_user() 函数传参def greet_user(username): print("Hello,"+username.title()+"!") greet_user('Jack') 实参和形参形参: 函数完成其工作所需的一项信...

2020-04-27 11:13:03 139

原创 python_06 用户输入和while循环

用户输入和while循环用户输入函数input()的工作原理函数input()让程序暂停运行，等待用户输入一些文本。获取用户输入后，Python将其存储在一个变量中。message=input("say something:")print(message)使用int()来获取数值输入使用函数int()时，Python将输入解读为数值。age =input("How old...

2020-04-27 11:09:10 96

原创 python_05 字典定义

字典在Python中，字典是一系列键-值对，每个键都与一个值相关联，你可以使用键来访问与之相关联的值。与键相关联的值可以是数字、字符串、列表甚至是字典。事实上，你可以将任何Python对象用作字典中的值。在字典中，字典用放在花括号{ }中的一系列键-值对表示: alien_0 = {'color':'green','points':'5'}字典的存储是==无序==的。使...

2020-04-27 11:07:48 149 1

原创 python_04 if语句

if语句实例：(注意冒号和缩进)cars=['audi','bmw','benz','auto']for car in cars: if car == 'bmw': print(car.upper()) else: print(car.title())>>>AudiBMWBenzAuto检查多个条件...

2020-04-27 11:01:26 102

原创 python_03 对列表的操作及元组

列表遍历整个列表name_list=['Jack','Mike','Terry','Ben']for name in name_list: print(name)>>> Jack Mike Terry Ben创建数值列表使用函数range():包头不包尾for value in range(1,5): print(valu...

2020-04-27 10:57:39 132

原创 python_02 列表

列表列表由一系列按特定顺序排列的元素组成。在Python中，用方括号( [ ] )来表示列表，并用逗号( , )来分隔其中的元素。访问列表元素列表是有序集合，因此要访问列表的任何元素，只需将该元素的位置或索引告诉Python即可。>>>sth=['a','b','c']>>>sth[0]a索引从0而不是1开始Py...

2020-04-27 10:52:59 96

原创 python_01 变量和简单数据类型

变量例：message='Hello Python World'print(message)message='Hello Python Crash Course World'print(message)在程序中可随时修改变量的值，而Python将始终记录变量的最新值变量的命名和使用变量名只能包含字母、数字、下划线。变量名可以字母或下划线打头，但不能以数字打头。变量名不能包...

2020-04-27 10:13:05 130

原创 mysql_拼接HTML字符串

某天业务提出了一个需求：想要在邮件中显示html格式文件，如下图所示：思考了下，可以采用如下sql实现：SELECT replace(GROUP_concat(html_body.info),',','') AS v_infoFROM (SELECT '<table border ="1">' AS info FROM dual UNION ALL ...

2020-04-26 18:02:37 400

原创 linux_设置自动任务校准时间

#安装ntpdate服务yum -y install ntpdatentpdate -u ntp1.aliyun.com# 使用阿里云的ntp服务器做时间校准echo '/usr/sbin/ntpdate -u ntp1.aliyun.com'>>/etc/rc.localcrontab -l>/tmp/crontab.tmpecho '#OS Time Sync'&...

2020-04-26 17:33:40 937

原创 linux_查杀zombie进程

top 命令观察：（可以看到，我的服务器已经产生了两个僵尸进程）解决方法:ps -A -o stat,ppid,pid,cmd |grep -e "^[Zz]"　　　//先查看具体进程：kill -9 pid号　　　　　　　　　 //杀死z进程（这些动作是比较危险的，希望在真正的服务器上面慎用！！！）若z进程比较多，可以编写个小小的脚本，下面是参与网上的：p...

2020-04-26 17:24:06 247

原创 linux_系统基础命令02

一、Linux基础命令1》设置主机名临时设置：#hostname 新的主机名（重启机器变为原先主机名）配置文件设置（永久）：#vi /etc/sysconfig/network插入数据：需要输入字母"i"，这个时候会在左下角出现"INSERT"退出vi编辑模式:"esc"保存并退出 ":wq" 回车/(不保存退出：“q ！”回车)2》设置主机名和IP之间的映射关系在...

2020-04-26 17:17:50 162

原创 linux_系统基础命令01

按照日期排序查看文件内容ll -rt 升序ll - lrt 降序查看某文件夹占用总的空间大小du -h --max-depth=1 /usr/local/注释：参数--max-depth用来指定深入目录的层数，为1就指定1层为\*可以得到文件的使用空间大小.查看当前文件夹下面各个文件的大小lll -lh查看改进程955的端口号netstat -nlp|...

2020-04-26 17:04:37 296

原创 linux_error_list

错误整理：1.解决httpd: Could not reliably determine the server’s fully qualified domain name解决方案：用记事本打开 httpd.conf将里面的 #ServerName localhost:80 注释去掉即可。再执行 httpd然后可以通过浏览器访问 http://localhost:80 ，如果页面显示...

2020-04-26 17:01:27 203

原创 presto 查询优化

presto运行机制如下图：presto wiki链接：https://prestodb.io/docs/current/index.html优化如下：1.避免使用函数转换，如to_char高效写法：select ... from ... where time=cast('20190101' as date)低效写法：select ... from ... where to_...

2020-04-26 16:09:46 1184

原创 kettle获取邮箱附件Excel加载至mysql

小需求：利用kettle实现一个可以接受邮箱附件的Excel，并且把该文件的数据，接入mysql里。(把当初的手动Excel导入mysql工作，变成全自动模式)，我们来简单试验下。实现： 1.测试环境：win10， kettle版本4.3， mysql5.72.作业设计：kettle的任务(kjb)设计如下： kettle的转换(ktr)设计如下： 3.组件介绍： ...

2020-04-26 14:17:55 1000

原创 kettle作业-插入操作优化

针对4.3版本的kettle作业插入数据缓慢，参考官网wiki ：https://wiki.pentaho.com/display/EAI/MySQL对“表输出"组件，进行修改：点击数据库连接==> 编辑 ==>选项设置如下参数，并保存。测试性能a.未修改之前：50万的数据插入未设置的表，耗时16分钟。b.修改之后：50万的数据插入的表测试。耗时17s效果显著。...

2019-11-21 19:08:20 773

原创 mysql5.7实现regex_replace正则替换功能

PS:最近接个小需求：针对用户敏感信息脱敏处理，数据源在mysql。刚开始想法是直接用mysql里面的regexp_replace函数对敏感字段进行清洗。后来发现mysql8.0才支持regexp_replace()。mysql5.7里只有正则匹配的函数。再后来想把数据抽取到hdfs上用hive来处理。一想到还得抽数建表，我最终决定用mysql的自定义函数来解决，省时省力。1.开启mysql...

2019-11-21 16:20:28 12699 10

原创 xshell打开服务器，中文字符乱码解决

xshell链接服务器，发现服务器中文字符显示乱码排查一：是不是所在系统没有安装中文语言包呢？如果系统支持中文语言包，那么显示还是乱码应该是Xshell链接工具的问题。解决方式：1.打开xshell终端服务,找到菜单-属性如下图2.打开属性,系统设置菜单之后。找到 “终端”编码设置，默认是默认语言，选择UTF8设置即可。PS: 若Linux中文显示乱码设置如果是Linux...

2019-11-21 14:29:01 1204

空空如也

空空如也