- 博客(21)
- 问答 (10)
- 收藏
- 关注
RSS订阅
原创 日常学习笔记
1、零散概念1.1、SQL1.1.1、透视与逆透视透视 透视数据 (pivoting) 是一种把数据从行的状态旋转为列的状态的处理， 在这个过程中可能须要对值进行聚合，或者更多的可以理解为对数据分类聚合，进行解读，和理解的过程。先考虑一个需求：生成一个报表，包含每个雇员和客户组合之间的总订货量。 透视阶段一般有三个阶段：分组，扩展，聚合。逆透视 逆透视转换是一种把数据从列的状态旋转为行的状态的技术。 通常，它涉及查询数据的透视状态， 将来自单个记录中多个列的值扩展为单个列中具有相同
2021-08-09 11:53:28
752
原创 spark2.3.2配置外置hive
HDP3，spark2.3.2配置外置hivespark中有内置的hive，如果要使用外置的hive就需要进行配置： 将/hive/conf中将hive-site.xml拷贝到spark conf/目录下。 将mysql驱动拷贝到spark jar/目录下 将hdfs下的core-site.xml和hdfs-site.xml拷贝到spark conf/目录下 修改配置： 登录 Ambari 界面，到 Spark 组件修改配置。 1）Advanced spark2-
2021-04-15 09:57:47
282
原创 HDFS创建文件时报错mkdir: Cannot create directory /data. Name node is in safe mode.
[zz@HOSTNAME=zz ~]$ hadoop fs -mkdir - p /datamkdir: `-': No such file or directorymkdir: `p': No such file or directorymkdir: Cannot create directory /data. Name node is in safe mode.原因：namenode...
2019-10-22 10:18:59
3726
原创 在windows中用浏览器访问hadoop提供的web端口：8088和50070时出现异常
Windows拒绝访问请求，./start-all.sh关闭服务后./start-all.sh重新启动服务就行了。(如果还是不行可以看看是否格式化了namenode，并且删除 tmp文件夹的相应内容)...
2019-10-22 09:55:48
1009
原创 Django小笔记-模板及Django高级扩展
定义模板 变量 视图传递给模板的数据 要遵守标识符规则 语法：{{var}} 注意：若变量不存在，则插入的是空字符串 在模板中使用点语法 字典查询 属性或者方法 数字索引 在模板中调用对象的方法 ...
2018-09-19 19:43:20
294
2
原创 Django小笔记-视图
概述 作用：视图接收web请求，并响应web请求 本质：视图就是一个python中的函数 响应：网页（重定向、错误视图（400、404、500））、json函数 响应过程：url配置 配置流程 制定根级url配置文件 settings.py文件中的ROOT_URLCONF = 'project.urls'（默认配置...
2018-09-19 19:41:14
160
原创 Django小笔记-定义模型
定义模型 django对各种数据库提供了很好的支持，django为这些数据库提供了统一的调用API，可以根据不同的业务需求选择不同的数据库 配置数据库 在project/__init__.py中添加 import pymysql pymysql.install_as_MySQLdb() ...
2018-09-19 19:40:42
308
原创 Django小笔记-视图，模板
视图的基本使用 概述 在django中，视图对web请求进行回应 视图就是一个python函数，在view.py文件中定义 定义视图 from django.http import HttpResponse def index(request): #request:请求体（就是浏览器给服务器的东西...
2018-09-19 19:39:24
158
原创 Django小笔记-站点管理
admin站点管理 概述： 内容发布：负责添加、修改、删除内容 公告访问 配置admin应用 在settings.py文件中的INSTALLED_APPS中添加'django.contrib.admin'（一般会自动添加） 创建管理员用户 执行<python manage.py create...
2018-09-19 19:38:29
244
原创 Django笔记-数据库
一、设计表结构（管理员身份启动cmd端 执行<net start mysql57>（启动mysql数据库服务），然后执行<mysql -u root -p>进入数据库，在执行<show databases;>查看数据库，执行<create database sunck;>创建名为sunck的数据库） 1、班级表结构 ...
2018-09-19 19:37:19
260
原创 Django小笔记-创建项目
创建项目 1、在合适的位置创建一个目录D:\Python_pycharm\Python3.6.0\day34\1_project 2、打开cmd端进入到上一步创建的目录下 3、输入 <django-admin startproject project>创建名为project的django项目（前提：要将D:\Python3.6.0\Lib\site-pa...
2018-09-19 19:36:41
147
原创 H5-hmtl小笔记--页面布局
页面布局<!DOCTYPE html><html><head><meta charset="utf-8" /><title></title><style type="text/css">*{ /* "*"表示通配 */p
2018-08-08 15:42:31
209
原创 H5-hmtl小笔记--hbuilder的简单使用
hbuilder的简单使用<!DOCTYPE html><html><head><meta charset="utf-8" /><title>第一个页面</title></head><body>sunck good &l
2018-08-08 15:38:46
3073
原创 python小笔记-list、tuple、dict、set的文件操作
list、tuple、dict、set的文件操作文件写入：eg：import pickle #数据持久性模块myList = [1,2,3,4,5,”sunck good”]path = r”D:\Python_pycharm\Python3.6.0\day8\File3”f = open(path,”wb”)pickle.dump(myList,f)f.close(...
2018-08-08 15:35:25
198
原创 python小笔记-装置器、偏函数、异常处理（断言）
装置器：概念：就是一个闭包，把一个函数当做参数返回一个替代版的函数本质：就是一个返回函数的函数eg: def function1():print(“sunck good”)def outer(m):print(“***”)m()function1 = outer(functiion1) 返回*** sunck good 通用装置器：def out...
2018-08-07 09:56:46
180
原创 python小笔记-函数
函数概述：在一个完整项目中，某些功能会反复的使用。那么会将功能封装成函数，当我们要使用功能时，直接调用函数即可本质：函数就是对功能的封装格式：def 函数名（参数列表）：语句return 表达式#def： 函数代码块以def关键字开始#函数名：遵循标识符规则#参数列表：（参数1，参数2...参数n）任何传入函数的参数和变量必须放在圆括号之间，用逗号隔开。函数的调...
2018-08-07 09:54:11
149
原创 python小笔记-迭代器
迭代器（不但可以作用于for循环，还可以被next（）函数不断调用并返回下一个值，知道最后跑出一个StopIteration错误，表示无法继续返回下一个值）（可以被next（）函数调用并不断返回下一个值的对象称为迭代器） 可迭代对象：（Iterable）可以直接作用于for循环的对象统称为可迭代对象可以用isinstance（）判断一个对象是否是IT而able对象 ...
2018-08-07 09:52:54
261
1
原创 python小笔记-turtle模块绘图
turtle模块绘图（一个简单的绘图工具，只有有限的命令）（绘图窗口的原点在正中间，默认海龟的方向是右方向）运动命令forward（d） #向前移动d长度backward（d）#向后移动d长度right（d） #向右转动d度left（d） #向左转动d度goto（x，y） #运动到（x，y）speed（speed）#笔画绘制的速度[0,10]home() #...
2018-07-31 09:37:44
343
原创 python小笔记-注释、输入、输出（%d%s%f）
注释#可以注释后面的一行 eg：#注释两个三单引号可以注释引号里面的东西 eg：’’’注释’’’两个三双引号可以注释引号里面的东西 eg：”””注释””” 输入直接输入a = 10b = 20c =a + b print ('a + b =',c) 返回a + b = 30基本输入a = input()print(“a = ”, a) a =...
2018-07-09 08:59:25
1161
原创 python小笔记-pycharm下载安装
1、在JetBrains的官网https://www.jetbrains.com/pycharm/ 下载对应的pycharm安装包。 2、右击软件压缩包选择解压到pycharm2017。 3、在解压文件夹里面找到pycharm-professional-171.3780.47，右击打开。 ...
2018-07-06 15:48:50
240
原创 python小笔记-python下载安装
1、在python的官网https://www.python.org/downloads/ 下载对应的python版本。 2、下载完成后双击执行下载的exe程序，进入安装界面。安装界面可以选择默认安装（一般都是默认装在c盘），也可以自定义安装，建议定义安装在非C盘。 3、在选择路径安装时，可以把下方的“Add Python 3.7 to PATH”勾选上，这个就直接默认把用户...
2018-07-06 15:03:39
159
空空如也
采集变更数据的方法有哪些
2021-09-07
sql中怎么获取下个工作日
2021-07-31
从mysql中导入数据到dataworks中时，int类型会自动转换成bigint？？
2021-07-21
mysql统计工作日时长
2021-07-19
mysql怎么查询当前日期的下一个工作日
2021-07-19
hibench测试spark时，准备数据的时候就报错了
2021-05-18
HiBench测试k8s上的spark，怎么配置
2021-05-13
请问在集群上安装HiBench7.1后，编译spark出现错误，怎么解决
2021-05-11
kmeans聚类实现python
2021-03-07
聚类算法中的肘部法则
2019-08-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人