- 博客(37)
- 收藏
- 关注
RSS订阅原创 DeepOps的hadoop小笔记-Hadoop 与 Java JDK 的版本选择
详细内容参考网址：https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+VersionsApache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only)Please compile Hadoop with Java 8. Compiling Hadoop with Java 11 is not supported: HADOOP-16795 - Ja
2021-03-08 17:21:45
384
原创 DeepOps的hadoop小笔记-HIVE安装ubuntu+virtualbox
00 前期准备1、已部署好hadoop集群2、已部署java环境3、已经安装好mysql01 下载hive安装文件https://hive.apache.org/downloads.html02 修改配置文件hive-env.sh.template名称为hive-env.sh，一些hive的环境变量内容可以在里面设置。系统用户环境变量中增加：export HADOOP_HOME=<hadoop-install-dir>export HIVE_HOME=<hive-ins
2021-02-26 09:30:12
211
原创 DeepOps的ETL小笔记-pentaho(kettle)连接mysql提示时区设置有误
看一下时区设置信息：time_zone直接取得system，而system time_zone是空的SHOW VARIABLES LIKE "%time_zone%";直接执行下面的内容，将time_zone调整为东8区就行了SET GLOBAL time_zone = '+8:00';SET time_zone = '+8:00';FLUSH PRIVILEGES;...
2021-02-20 01:35:05
387
原创 DeepOps的ETL小笔记-pentaho（pdi）kettle下载
如何下载pentaho打开Pentaho Community的网址https://community.hitachivantara.com/s/pentaho，点右侧导航里面的Data Integration -Kettle进入下面的网址https://community.hitachivantara.com/s/article/data-integration-kettle ，滚动到页面下方，点击8.2 Stable 下载。8.2的下载地址https://sourceforge.net/proj
2021-02-20 00:29:39
358
原创 DeepOps的hadoop小笔记-hadoop集群搭建ubuntu+virtualbox
00 前期准备1、已部署hadoop2、已部署java环境01 主要介绍hdfsnamenode nndatanode dnsecondary namenode 2nnyarnResourceManager rmNodeManager nmApplicationMaster AMContainerMapReduceMapReduce02 各项环境信息服务器情况服务器名称服务器ipHDFS服务YARN 服务说明03 创建虚拟机设置s
2021-02-16 16:11:26
247
原创 DeepOps的ETL小笔记-编译pentaho（pdi）kettle
00 下载文件选择自己喜欢的版本的分支。这是master 的分支路径： https://github.com/pentaho/pentaho-kettle/tree/master我选择了9.1.0.5，页面下方README.md中有详细的步骤。下载zip文件，或者使用git01 前期准备Maven, version 3+Java JDK 1.8This settings.xml in your /.m2 directory特别说明：maven使用aliyun的镜像的时候会报有一个包找
2021-02-13 20:17:39
280
原创 DeepOps的Python小笔记-python的with关键字的小例子
官方文档中的with关键字介绍https://docs.python.org/zh-cn/3.7/whatsnew/2.6.html#pep-343-the-with-statementhttps://www.python.org/dev/peps/pep-0343/
2021-02-09 23:42:56
141
原创 DeepOps的Python小笔记-Python3.8如何安装TensorFlow?
我也是本来怀着一份好奇心安装了个新ANACONDA，发现tensorflow不能用了。0、使用pycharm创建虚拟conda环境后面都是失败在下载python3.7的时候prefrences（setting）->Project->Python Interpreter 进入下面菜单。点击右上角标注图标，选择add1、命令行创建虚拟conda环境这种方式速度还可以至少能看见进度，但还是需要等一会，图形化界面操作的时候总是出错。#命令行使用conda创建$conda create -
2021-02-05 09:36:10
465
2
原创 DeepOps的WordPress小笔记-WordPress文件没有写权限-Is its parent directory writable by the server
WordPress Is its parent directory writable by the server上传图片到媒体库的时候报错：“xxxxx.jpg” has failed to upload.Unable to create directory wp-content/uploads/2021/01. Is its parent directory writable by the server?排查过程：1、找到是否有 wp-content/uploads 这个文件夹在哪？ 我使用的
2021-01-24 12:32:45
571
原创 DeepOps的Linux小笔记-drwxrwxrwx 777 775 权限代表了什么
ls -l 的时候 可能会看到文件或者目录前面的drwxrwxrwx或者-rw-rw-rw-r、w、x分表表示什么意思呢？项目权限数值r读取权限4w写入权限2x执行权限1drwxrwxrwx 、-rw-rw-rw- 这样的字符串表示什么含义第1位 d 表示目录 ，-表示非目录2-4 对应的 拥有者权限5-7 对应的 组用户权限8-10 对应的 其他用户权限按照rwx顺序如果没有对应的权限，则权限所对应的位置用-代替这三组也同样对应 数字的三
2021-01-24 12:27:18
1378
原创 DeepOps的工具小笔记-IntelliJ IDEA 三个简化代码的小技巧(3 ways to simplify your code )
今天看到了一个讲简化代码的几个小TIPS，记录一下1.Extract / Inline（提取/内联）1.1 Methods（方法）Command+option+M（macOS）Ctrl+Alt+M（windows/linux）第一步 选中需要提取的代码块第二步 按下Ctrl+Alt+M 会将选中代码提取到一个方法中，重新命名方法名即可1.2 Constants 常量Command+option+C（macOS）Ctrl+Alt+C（windows/linux）提取常量，选择需要提取的
2021-01-20 13:21:42
334
原创 DeepOps的工具小笔记-PyCharm的快捷键
pycharm官方说明链接https://www.jetbrains.com/help/pycharm/quick-start-guide.html快捷键介绍https://www.jetbrains.com/help/pycharm/configuring-keyboard-and-mouse-shortcuts.html
2021-01-17 14:46:17
127
原创 DeepOps的工具小笔记-IntelliJ IDEA的快捷键
jetbrain的资源链接：https://www.jetbrains.com/idea/resources/快捷键官网文档介绍：https://www.jetbrains.com/help/idea/mastering-keyboard-shortcuts.html快捷键的pdf版本可以直接打印，里面包括windows/linux/macOS，英文，下载链接如下：https://resources.jetbrains.com/storage/products/intellij-idea/docs/In
2021-01-17 14:46:10
91
原创 DeepOps的macOS小笔记-macOS启动virtualBox虚拟机报错
Kernel driver not installed (rc=-1908)Make sure the kernel module has been loaded successfully.where: suplibOsInit what: 3 VERR_VM_DRIVER_NOT_INSTALLED (-1908) - The support driver is not installed. On linux, open returned ENOENT.go to the System Prefer
2021-01-17 11:35:38
812
原创 DeepOps的macOS小笔记-macOS使用brew安装mysql8.0密码认证方式调整
1 在终端执行：如果没有安装brew 可以参考macos 安装homebrew$ brew install mysql2 常用操作# 启动$ mysql.server start # 停止$ mysql.server stop # 查看状态$ mysql.server status 3 修改root密码安全配置想到$ mysql_secure_installation$ mysql -u root4 修改密码认证方式8.0的mysql在新建用户上面可能会遇到点麻烦，
2021-01-17 11:23:17
164
转载 DeepOps的ubuntu小笔记-ubuntu20.04LTS更换阿里云的源
1 首先备份本地的源cp /etc/apt/sources.list /etc/apt/sources.list.bak2 编辑源文件vi /etc/apt/sources.list3 删除原有内容，添加下面内容deb http://mirrors.aliyun.com/ubuntu/ focal main restricteddeb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricteddeb http://mirr
2021-01-16 09:50:53
194
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 04:DAY10
今天进入到了关键的一步,task 04 从0完成一个数据分析实战，一看名字就是很实战的一篇内容
2020-12-28 23:54:59
148
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 03:DAY9
魔法方法基本的魔法方法算术运算符反算术运算符增量赋值运算符一元运算符属性访问描述符定制序列迭代器魔法方法总是被双下划线包围，例如__init__。魔法方法是面向对象的 Python 的一切，如果你不知道魔法方法，说明你还没能意识到面向对象的 Python 的强大。魔法方法的“魔力”体现在它们总能够在适当的时候被自动调用。魔法方法的第一个参数应为cls（类方法） 或者self（实例方法）。cls：代表一个类的名称self：代表一个实例对象的名称1. 基本的魔法方法_i
2020-12-27 00:04:57
172
1
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 03:DAY8
进入了第8天，周六的原因，差一点就错过了打卡的时间。现在还有1个小时，抓紧时间补救一下。今天的学习内容是：类与对象-主要内容如下所示属性和方法组成对象self是什么？Python的魔法方法公有和私有继承组合类、类对象和实例对象什么是绑定？一些相关的内置函数（BIF）1. 属性和方法组成对象对象 = 属性 + 方法对象是类的实例。换句话说，类主要定义对象的结构，然后我们以类为模板创建对象。类不但包含方法定义，而且还包含所有实例共享的数据。封装：信息隐蔽技术我们可以使用关键字
2020-12-26 23:45:25
150
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 03:DAY7
忽然感觉很来劲，我决定提前开启下一阶段的任务，Task 3 Python基础进阶：从函数到高级魔法方法（3天）第三阶段的全部内容如下，预计时间学习3天 ：简介函数函数的定义函数的调用函数文档函数参数函数的返回值变量作用域Lambda-表达式匿名函数的定义匿名函数的应用类与对象属性和方法组成对象self是什么？Python的魔法方法公有和私有继承组合类、类对象和实例对象什么是绑定？一些相关的内置函数（BIF）魔法方法基本的魔法方法算术运算符反算
2020-12-23 21:42:24
144
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 02:DAY6
今天的任务还没出来，趁着有时间先把后面的多学一点，今天估计内容应该是：集合和序列集合集合的创建访问集合中的值集合的内置方法集合的转换不可变集合序列针对序列的内置函数集合Python 中set与dict类似，也是一组key的集合，但不存储value。由于key不能重复，所以，在set中，没有重复的key。注意，key为不可变类型，即可哈希的值。1. 集合的创建先创建对象再加入元素。在创建空集合的时候只能使用s = set()，因为s = {}创建的是空字典。basket
2020-12-23 19:50:41
121
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 02:DAY5
今天进入训练营的第5天，今天的主要内容是：字符串、字典。字符串字符串的定义字符串的切片与拼接字符串的常用内置方法字符串格式化字典可变类型与不可变类型字典的定义创建和访问字典字典的内置方法字符串1.字符串的定义字符串使用双引号或者单引号包围常见转义字符转义字符描述\反斜杠符号’单引号"双引号\n换行\t横向制表符(TAB)\r回车print("C:\\Program Files\\Intel\\Wifi\
2020-12-23 12:25:58
179
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 02:DAY4
进行到了训练营的第四天，进入了下一个环节Task2，Task2还是python的基础内容，主要包括：列表元组字符串字典集合序列DAY 4 的学习内容：列表、元组1 列表1.1 列表的定义中括号包围，逗号分割1.2 列表的创建直接创建x = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday']利用range()创建x = list(range(10))x = list(range(1, 11, 2))x = l
2020-12-22 00:57:29
170
转载 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 01:DAY3
今天的任务主要是异常处理，我目前写的python 还没用过异常处理。（换句话还没有正经写过）异常处理Python 标准异常总结BaseException：所有异常的 基类Exception：常规异常的 基类StandardError：所有的内建标准异常的基类ArithmeticError：所有数值计算异常的基类FloatingPointError：浮点计算异常OverflowError：数值运算超出最大限制ZeroDivisionError：除数为零AssertionError：断言语句
2020-12-20 20:33:03
109
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 01:DAY2
很快到了第二天 条件语句与循环语句条件语句if 语句if - else 语句if - elif - else 语句assert 关键词assert len(my_list) > 0循环语句while 循环- while - else 循环 - 这个我很少用过， 当while循环正常执行完的情况下，执行else输出，如果while循环中执行了跳出循环的语句，比如 break，将不执行else代码块的内容。while 布尔表达式: 代码块else: 代码块for
2020-12-20 20:30:20
110
原创 DeepOps的Python小笔记-天池龙珠计划-Python训练营-Task 01:DAY1
**龙珠计划python训练营地址：https://tianchi.aliyun.com/specials/promotion/aicamppython龙珠计划还包括SQL、数学、机器学习、深度学习、强化学习等，图标做的非常有意思，很容易激发收集控的一面。作为一个python跟着不同的学习小组，学过好几遍的人，为了凑齐龙珠，也要再刷一遍，才能达到内心的平静。除了这个龙珠计划，天池学习还构建了一颗知识树，详情请见如下链接：https://tianchi.aliyun.com/course/index 看上
2020-12-19 14:54:00
148
2
原创 DeepOps的Git小笔记-快速入门
初始本地仓库1、进入你的代码文件夹2、执行 git init查看状态在仓库目录下，键入git status返回结果会显示有两个未加入版本库的文件，使用git add 进行加入$ git status #查看状态On branch masterNo commits yetUntracked files: (use "git add <file>..." to include in what will be committed) leetcode.py tree.py
2020-08-04 19:42:53
225
原创 DeepOps的算法小笔记-欧几里德算法
引用网址 https://www.cnblogs.com/jason2003/p/9797750.html这个说的挺易懂，如下是原文，留个笔记我们把证明分为两步骤： 1、证明gcd(a,b)是b,a%b的一个公约数 2、证明这个公约数是最大的。 1、我们设gcd(a,b)=d，再令a=k1*d,b=k2*d. 我们再设，a=k*b+c（也就是a除以b商k余c），那么c就是余数，也就是a%b. 讲上面那个式子移项，得到c=a-k*b，然后再把a=k1*d,.
2020-07-04 02:01:07
226
原创 Python育儿系列-python生成竖式运算
竖式运算包括 100以内加减法 1000以内加减法（借位的、不借位的、进位的、不进位的），直接复制打印结果到word里面，调整好格式，小孩子就可以尽情的答题了。建议使用横版打印，比较省纸100 以内加法#100 以内加法# 不进位import randomfor i in range(0,100): #xa+b a=random.randint(0,8) b=random.randint(1,9-a) x=random.randint(0,9) va =
2020-05-13 02:40:27
1449
原创 DeepOps的程序员数学笔记-二进制
转发请标注原文链接：http://www.mimiq.com.cn/?p=4181 二进制电路只有开、关两种状态。使用 0 、1 表示。十进制中 10 为基数，二进制中 2 为基数。1.1 python 十进制 转换为 二进制、八进制、十六进制#十进制 --> 二进制n2 = 17r2 = bin(n2) #十进制 --> 八进制n8 = 17r8 = oct(n8) #十进制 --> 十六进制n16 = 17r16 = hex(n16) print
2020-05-13 02:25:47
293
原创 Python育儿系列-10以内减法、20以内减法、20以内混合运算
主要是随机生成减法或者混合运算的式子，直接打印输出，复制到word里面打印就行了，减少了一点出题的时间。import random# 十以内减法def print10(): for i in range(0,1000): a=random.randint(3,10) b=random.randint(1,a) print(a,'-'...
2020-02-25 16:18:50
800
原创 一、DeepOps的ETL小笔记-kettle/pentaho(pdi)简介
说到ETL 是英文Extract-Transform-Load的缩写 ，它是用来描述从数据源端抽取，对其进行转换，然后将数据加载到目标端的一些列过程。很多系统之间都存在一定的批量数据的交互。然而一个好的ETL工具，在开发和使用维护上可以让我们事半功倍。目前工作的原因用到的比较多的ETL工具就是Kettle（后期这个改名为pentaho data integration）。下载地址：https:...
2019-12-18 21:09:25
463
原创 Python育儿系列-python英文字母随机生成
小孩考核英语字母大小写# -*- coding: utf-8 -*-# @Time : 2019-01-07 00:07# @Author : ops # @File : alphabat_generator.pyimport randomfor i in range (11): for j in range(10): ij = random.r...
2019-01-07 00:47:47
2927
原创 ubuntu18.4 LTS 环境下搭建 hive
官方参考文档GettingStartedhttps://cwiki.apache.org/confluence/display/Hive/GettingStarted1.依赖与版本java：Hive 1.2版本及以上 jdk1.7 或更高Hive 0.14~1.1 使用jdk1.6我机器jdk现在是1.9hadoop：推荐hadoop 2.xhive2.0 以上版本不支持 h...
2018-12-21 16:22:32
268
原创 DeepOps的hadoop小笔记-ubuntu18.4 LTS 环境下搭建 hadoop
中文官方参考文档链接：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html检查环境变量与依赖下载安装包下载相应的软件解压安装包解压软件并建立相应目录4...
2018-12-21 15:52:56
213
转载 linux文件权限
来源： 进击的Coder 链接：https://mp.weixin.qq.com/s/GZ7W_B08nW_-GGIdsR0GqA最近和几个朋友开发项目，期间使用了一台服务器跑模型，这台服务器是多人公用的，很多人都在上面有自己的账号，互不干涉内政，一切看起来十分井然有序。 近期，这个服务器上刚挂载了一块新硬盘，是一位朋友使用 root 账号挂载的，然后将磁盘映射到某个文件夹下。然而...
2018-09-14 09:27:09
497
转载 ubuntu 安装mysql
更新系统 并 安装服务器sudo apt-get updatesudo apt-get install mysql-server 设置数据库sudo mysql_secure_installation 检查服务状态systemctl status mysql.service 服务启动sudo systemctl mysql start/stop/restart...
2018-06-30 16:19:12
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人