elonger10-CSDN博客

原创 ambari-kerberos配置

服务端yum install krb5-server krb5-libs krb5-workstation -y--下载jce并解压--jce下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlunzip -o -j -q /app/data/jce_policy-8.zip -d /usr/lib/jvm/zulu-8/jre/lib/security--修改主配置kr

2021-12-13 16:47:27 1406

原创 Linux下安装ODI

Linux下安装ODI操作系统：RedHat EL AS 5U2Oracle_DI：CD_10.1.3.5.0_LINUX.zipJDK：1.5.0.15安装步骤：1、安装JDK（用root或oracle用户均可），修改oracle用户环境变量（.bash_profile），并在其中加入：export ODI_JAVA_HOME=/opt/jdk1.5.0_152、用oracle用户unzip Oracle_DI：CD_10.1.3.5.0_LINUX.zip3、cd ./setup/Lin

2020-12-11 09:16:48 504

原创 goldengate与ODI

Goldengate简介 GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库实时同步（real-time data synchronize）、双活（active-active high availability）。GoldenGate软件可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制。GoldenGate可以提

2020-12-04 10:17:45 391

原创 oracle goldengate OGG基础概念与安装教程

一、GoldenGate简介Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同

2020-11-19 15:31:54 1874

原创 MySQL主从复制详细步骤

1 环境主节点：10.7.137.a从节点：10.7.137.b2 主节点设置2.1 编辑主节点配置文件vi /etc/my.cnf#添加如下[mysqld]log-bin = mysql-binbinlog_format=mixedserver-id =1innodb-file-per-table =ONskip_name_resolve=ON2.2 启动MySQL服务，并连接MySQL[root@i-goij3mby bin]# service mysql restart

2020-09-02 17:19:21 184

原创 Linux环境下安装MySQL详细步骤

Linux安装MySQL安装前准备检查是否已经安装过mysql，执行命令：rpm -qa | grep mysql如果有，则执行如下命令删除：rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64查询所有Mysql对应的文件夹，如果存在则删除。[root@i-2pcc1lv7 ~]# whereis mysqlmysql: /usr/lib64/mysql /usr/share/mysql[root@i-2pcc1lv7 ~]# r

2020-08-31 20:27:58 324

原创 docker容器内使用uwsgi发布服务

清单解析器服务化1 将项目文件导入服务器准备好以下文件（1）Dockerfile-parserFrom swr.cn-north-4.myhuaweicloud.com/zt-sjzn-znzj-pd/costestimation-base:3.0 #基础镜像MAINTAINER "zhanghc" "zhanghc@glodon.com" # 维护人ENV LC_ALL "zh_CN.UTF-8" #编码环境COPY serving/ /workspace/serving/ # 将上图

2020-06-15 10:42:48 3038

原创 python爬虫——爬取链家网北京租房信息

爬取链家网站北京租房信息# 链家北京市租房信息，并导入本地数据库import requestsimport reimport pymysqldb = pymysql.connect('localhost', 'root', '126315', 'petzhang')cursor = db.cursor()headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K

2020-05-17 12:52:29 3121 1

原创 Python 发布自己的包、项目到PyPI私服

Python 发布自己的包到PyPI私服1 项目结构整理代码的目录结构，方便打包和python的import，为了方便引用，需要将代码模块变成一个包，所以需要将功能代码用目录来整合方便引用，并且需要创建__init__文件，__init__中可以没有内容图中红框中为我们所需要的文件，其中第一个红框中的parser_code为项目文件，另一个红框中的三个文件是需要我们自己进行配置、编写的，其中requirements.txt声明项目所需要的python第三方库，README.md解释此项目的使用方法。

2020-05-12 14:38:09 1512

原创 python爬虫——爬取网易云评论并形成词云图

爬取网易云音乐评论，并形成词云图from selenium import webdriverimport timeclass yunspider(object): # 初始化方法 def __init__(self,url): self.url=url # 打开浏览器 self.driver=webdriver.Chrome(...

2020-04-26 18:07:20 2158 1

原创 python爬虫——爬取老师信息_以北京交通大学经管学院为例

爬取老师信息-以北京交通大学经济管理学院为例#北京交通大学经济管理学院老师信息，并导入本地数据库import requestsimport reimport pymysqldb = pymysql.connect('localhost','root','126315','petzhang')cursor = db.cursor()for i in range(1,40): ...

2020-04-14 16:23:23 3447

原创 python爬虫——爬取英雄联盟全英雄皮肤

爬取英雄联盟全英雄皮肤import requestsimport re#1、分析目标网页，确定爬取的url路径，headers参数base_url='https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0;...

2020-03-21 15:55:59 1087

原创 python爬虫——爬取知网《钢结构》期刊所有文章的摘要

爬取知网《钢结构》期刊所有文章的摘要import requestsimport reheaders={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.9 Safari/537.36'}#http://navi....

2020-03-21 09:52:55 805 1

原创 python爬虫——爬取英雄联盟英雄基本信息

爬取英雄联盟英雄基本信息import requestsimport reimport pymysqldb=pymysql.connect('localhost','root','126315','petzhang')cursor=db.cursor()#1、分析目标网页，确定爬取的url路径，headers参数base_url='https://game.gtimg.cn/ima...

2020-03-18 18:17:47 2138 4

原创 python爬虫——爬取王者荣耀英雄出装建议（一）

爬取装备列表#爬取王者荣耀装备，并写入MySQL数据库import requestsimport reimport pymysqldb=pymysql.connect('localhost','root','126315','petzhang')cursor=db.cursor()#1、分析目标网页，确定爬取的url路径，headers参数 #王者荣耀官网内有如下网址存...

2020-03-11 18:04:44 676

原创 python爬虫——爬取中国大学2019年排名

爬取中国大学2019年排名，并导入本地数据库import requestsimport reimport pymysqldb=pymysql.connect('localhost','root','126315','petzhang')cursor=db.cursor()#1、分析目标网页，确定爬取的url路径，headers参数for i in range(2,8):#看网页结...

2020-03-10 17:49:50 1240 1

原创 python爬虫——爬取王者荣耀全英雄皮肤

爬取王者荣耀全英雄皮肤#爬取王者荣耀全英雄皮肤import requestsimport re#1、分析目标网页，确定爬取的url路径，headers参数base_url='https://pvp.qq.com/web201605/js/herolist.json'headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64;...

2020-03-09 16:25:13 641 1

原创 MYSQL(一) 创建用户-创建数据库-创建表-插入数据

MYSQL从创建用户-创建数据库-创建表-插入数据#创建新用户petermysql> create user 'peter'@'localhost' identified by '123456';Query OK, 0 rows affected (0.15 sec)#授予权限mysql> GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DR...

2020-03-05 17:05:48 529

原创 Windows10下mysql 8.0.19 winx64安装教程

文章目录1 下载mysql-8.0.19-winx641.1 进入地址：[https://dev.mysql.com/downloads/mysql/]()1.2 解压zip包，并将解压文件 mysql-8.0.19-winx64 文件放在想放的位置，比如 D 盘下1.3 配置环境变量（目的是为了避免在CMD窗口下操作时反复切换路径）1.4 无需编写my.ini配置文件（注意）2. MySQL的...

2020-03-04 16:47:38 1575 4

原创 scrapy爬虫(一)——爬取小说

2020-02-19 14:45:56 340

elongerzhc的博客