Teacher_du的博客

原创 Hadoop常见问题

1.mr、hive调优的问题2.数据倾斜怎么处理hive的优化。答1.不用*来select，指定列名 2.指定分区 3.大小表join，使用map join将小表加载到内存 4.尽量不要出现count（distinct），用中间表和group代替 5.避免出现笛卡尔积 6.设置平行度和reducer的个数 7.合并小文件3HDFS的流程。答就按照正常的流量稍微说下，画下。4问hadoo...

原创 Java基础

1.Java的数据类型八种基本数据类型和三种引用数据类型基本数据类型：数值型整型：byte、short、int、long浮点型：float、double字符型：chart布尔型：boolean引用数据类型：类：class、abstract class接口：interface数组：array2.重载和重写（常见的区别）重载：在类内，方法名相同，参数类型或参数个数不同（参数列...

原创 前端导出pdf以及导出内容截断的解决办法

速度 //导出pdf pdfExport() { // let top = document.getElementById('main'); // if (top != null) { // top.scrollIntoView(); // top = null; // } const that = this; var mai...

转载 了解了一下`大前端`这个概念--细思极恐

https://www.sohu.com/a/127840320_635110

原创 Django静态文件加载的设置

Django静态加载的设置django部署方式比较特别，采用静态文件路径:STATICFILES_DIRS的部署方式，之前你写的相对路径，绝对路径因为缺少静态文件路径而全部失效解决方法当 debug=True 时, 就是本地的开发模式, 这个时候, 访问压力很小, django 能处理, 所以直接 python manage.py runserver 就会加载静态文件, 即 django 为...

原创 使用轮播图插件jQuery轮播图插件slide.js报错：Uncaught TypeError: $(...).flexslider is not a function

报错Uncaught TypeError: $(…).flexslider is not a function引入两个不同版本的jQuery ，导致冲突我这里一个是引入的cdn 一个是下载到本地的 导致冲突了 删掉一个就好了一开始觉得没错啊 自己这个以前没引入jQuery啊最后下边找到了细心 细心 细心~~！！！...

原创 python使用echarts做数据可视化--彩色的柱形图

这里使用的python的django框架调用echarts库 定义个div用于一会放置图标 <script type="text/javascript"> var list = {{ data1| safe }}; var xAxisList = []; var yAxisList = []; for (let item of lis...

原创 python的django框架前后台数据交互（包括传递数据到js）

之后会写一下怎么搭建django框架以及怎么使用在序列化的时候用菜鸟教程的json.dumps(list) 会报错 显示没有序列化这里用"data2": serializers.serialize(‘json’, list2)在models.pyviews.py前端直接通过遍历data使用在前台的js里面拿到该数据...

原创 用SnowNLP().sentiments报错

用SnowNLP().sentiments的时候显示错误：self.avgdl = sum([len(doc)+0.0 for doc in docs]) / self.DZeroDivisionError: division by zero除数为0根据事务的特征 traceback 回滚解决方法是加异常处理...

原创 论基础知识的重要性--我哭了，你萌呢

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘table emotion_eve select * from(select s.goodsId,s.productTitle,...

原创 数据仓库hive----基础知识

什么是数据仓库？**<百度百科>**数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。什么是hive？•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。•本质是将...

原创 mysql性能优化----待完善

查询慢的原因（通常DBMS都有自己的慢查询日志）：外部原因：内存太小，本地I/O瓶颈，网络I/O瓶颈；内部原因：程序本身DB设计不合理，SQL语句使用不合理，无索引或者有索引但未充分利用。数据库设计层面的优化遵循数据库设计三范式（通俗地讲就是每个字段不可再拆分，尽量减少冗余字段）；字段类型设计上，能使用数值就不要使用字符串，能使用日期时间就不要使用字符串，最好把字段声明为not null...

原创 Mysql个人总结----03(数据库常见面试题)

drop、truncate、delete的区别1、drop(DDL) 1）、drop语句将删除表的结构，以及被依赖的约束(constrain),触发器(trigger),索引(index);　　2）、drop也属于DDL语言，立即执行，执行速度最快 　　3）、删除内容和定义，释放空间。2、truncate(DDL) 1）、只能操作表，将表中数据全部删除，在功能上和不带where...

原创 Java常用框架及相关概念

一、什么是框架？我们天天提到的框架到底是什么？有什么用？程序开发中的框架往往是指对一些常见功能的封装，它规定了应用的体系结构，阐明了整个设计、协作构件之间的依赖关系、责任分配和控制流程，表现为一组抽象类以及其实例之间协作的方法，它为构件复用提供了上下文(Context)关系。这样理解，假如你要造一辆马车，在没有框架的情况下，你需要自己去伐木，去把木头做成木板，木棍，然后组成轮子，门，等部件，...

原创 java堆栈----待看

一、java的数据类型(白给分)整型：byte、short、int、long浮点型：float、double布尔型：Boolean字符型：char二、==和equal的区别值类型是存储在内存中的堆栈（以后简称栈），而引用类型的变量在栈中仅仅是存储引用类型变量的地址，而其本身则存储在堆中。 ==操作比较的是变量的值是否相等，对于引用型变量表示的是两个变量在堆中存储的地址是否相同...

原创 Java实现简单的登录功能----未完待续

–草稿–待完善pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocat...

原创 写udf的maven的pom依赖

新建类的时候继承udf<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs...

原创 热部署的pom依赖

&lt;!-- 热部署 --&gt; &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-devtools&lt;/artifactId&gt; &lt;opti

原创 Mysql个人总结----02 数据库习题（子查询和表关联）

建表语句use Teacher_Du; 切换数据库创建学生表create table student ( Sno varchar(20) not null comment '学号', Sname varchar(20) not null comment '学生姓名', Ssex varchar(20) not null comment '学生性别', Sbirthday da...

原创 Mysql个人总结----01

一、我们每天说的数据库是什么呢简单的说，数据库就是一个存放数据的仓库，这个仓库是按照一定的数据结构来组织、存储的，我们可以通过数据提供的多种方法来管理数据库里的数据。当人们收集了大量的数据后，应该把它们保存起来进入近一步的处理，进一步的抽取有用的信息。当年人们把数据存放在文件柜中，可现在随着社会的发展，数据量急剧增长，现在人们就借助计算机和数据库技术科学的保存大量的数据，以便能更好的利用这些数...

原创 python

原创 HDFS的基本了解

一.什么是HDFSHDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。 是基于流数据模式访问和处理超大文件的需求而开发的。HDFS思想就是分而治之再综合的过程，但是对于我们使用者来说是透明的，就像我们使用Windows的文件系统一样，只需要知道你要操作的文件的路径和名称而不需要他的每一部分存储在什么节点二.HDFS的一些基本的概念Bloc...

原创 hadoopd的基本了解

一.几个基本的模块1.HDFS：分布式海量数据存储功能 (将数据分布式存储到各个节点)。2.MapReduce：分布式并行编程模型和计算框架。解决分布式编程门槛高的问题，基于其框架对分布式计算的抽象 map 和 reduce，可以轻松实现分布式计算程序。(只需要编辑继承于MAPPER用于接受并处理切好片的数据的map类、进行处理输出格式的继承Reducer的reduce类、以及调动各个部分的中...

原创 虚拟机安装Linux系统的两种连网方式的区别

1.在虚拟机的设置选项 将网卡1设置为桥接模式网关会给这种连接方式的虚拟机分配一个IP地址(虚拟机的Linux系统会占用一个真实的IP)2.设置两个网卡，一个用NAT，一个用Host-Only。这种不会占用路由器的一个IP...

原创 数据库和网页之间的数据交互

浏览器发送请求 localhost:8080/home通过thymeleaf （xmlns:th=“http://thymeleaf.org”&amp;amp;amp;amp;gt;）和model.addAttribute实现 服务器和网页的连接通过userDao里面的jdbcTemplate的方法实现服务器和数据库的操作spring MVC 其实是通过服务器作为中介实现页面和数据库的数据交互1.Controller部分...