![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
杂记
文章平均质量分 58
知识碎片、易错整理。
菜鸟周星星
大数据开发攻城狮。更多学习和面试资料尽在微信公众号:Hadoop大数据开发
展开
-
重新安装kafka集群
首先很感谢大家的垂爱,从当初收回学校运营的这个公众号到后面自己专注于大数据技术公众号,也快一年了,不知不觉粉丝的个数已经从当初的两三百到千级别了,其实一直没怎么精心去运营,只想着权当把微信公众号这个平台当做树洞,当做日记,来分享自己的一次次学习,一次次跳坑,一次次成长。一路走来,有人离开,有人陪伴,虽然我身体上是孤独的,但是精神上却一直是充实的,没有大号主的扶持、没有精心的运营、没有软文式的广告,只想默默跟大家一起学习,目前只有大成子也就是号主本人一直在运营,如果有志同道合的同鞋想一起学习,平常也愿意分享.原创 2021-07-04 18:03:22 · 658 阅读 · 3 评论 -
ETL工具Kettle连接MYSQL时报错Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the ‘MySQL
使用ETL 工具Kettle连接mysql数据库时报未找到驱动错误解决思路:未找到mysql连接驱动,弄一个mysql的connector驱动给它即可我去了java项目maven所在的仓库将它放在kettle目录的lib下重启Kettle即可。...原创 2021-07-02 13:15:12 · 818 阅读 · 0 评论 -
4.30-暨4月下半月错误点、知识点总结
1、字段名可以加特殊符号吗?可以比如字段名是name;crate table tb(`name` string)2、mysql 错误对比插入数据报错:1)需要13个参数,但是query只提供了12个占位符有13个,但数据源只提供了12个字段2)Column count doesn't match value count at row 1列数目和所要插入的值的个数不匹配说白了就是人家有13个字段,但是你多insert into的时候,多给了值或者少给...原创 2021-04-30 18:16:51 · 136 阅读 · 1 评论 -
实战之从阿里云dataworks的maxcomputer中导出数据
背景大数据存储场景:一般有点实力的公司,会自有机房,将自己的内部数据存储在服务器集群当中,而一些前期没考虑机房的公司,会选择将数据存储在公有云上,国内现在比较厉害的有阿里云、华为云、亚马逊云等。今天有个需求,客户公司,他们的数据存储在阿里云上,使用的是MaxCompute(原ODPS)来计算和分析数据。MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务。考虑到直连客户数据库的敏感性和数据的安全性,我们选择直..原创 2021-04-29 18:27:07 · 5091 阅读 · 2 评论 -
ETL-数据同步-实际需求-积分数据同步优化方案
需求:求所有人近30天的总积分变化情况故最终结果表数据(mysql)结构:字段名称 业务含义phone 用户手机号码,唯一主键uid uidpt_1_points 过去第一天积分总数 以今日4.23为例,过去第一天即4.22的积分总数pt_2_points 过去第二天积分总数.....原创 2021-04-28 18:08:10 · 167 阅读 · 0 评论 -
mysql之更新、移除json格式的数据的属性
表schema格式:(uid为主键)uid,name,age,pro数据样式:'100','tom',18,'{"attr1:''湖北省-武汉市"}'mysql中对pro进行添加属性要求实现:对pro添加一个attr2的属性,如果不存在此属性,则添加;如果存在此属性,则更新。事先将pro为null的记录去除掉(无效、垃圾数据)实现语句:insert into student values('100','hgc','28',CONCAT('{"attr2":','"18-.原创 2021-04-26 12:35:55 · 948 阅读 · 0 评论 -
2021-4-14hive之错误总结
本篇是2021年4月上半月遇到的一些问题和解决方案,思考,注意点,以备以后自己忘记可以快速查询,定位类似错误并解决。1、hive低版本,可能不太支持有的地方嵌套子查询,比如case when中,例如:case when exp then (子查询) when exp then (子查询) else value end as alias还比如在where 条件中也不能出现子查询select name from...原创 2021-04-14 23:45:53 · 643 阅读 · 0 评论 -
自己学习测试 CRT连接不上虚拟机 重新配置ip地址
物理机更改VMnet8的ip地址 是ipv4的ip地址根据 虚拟机设置的 自动配置的有网段 192.168.158 重点是158 这个是分配的 后面跟每台机器的id不能重复windows 192.168.158.2linux01 192.168.158.3linux02 192.168.158.4linux03 192.168.158.5修改linux的ip地址vi /etc/sysconfig/network-scripts/ifcfg-ens33...原创 2021-03-09 20:10:50 · 1204 阅读 · 0 评论 -
null和任何值进行逻辑运算 其结果仍然是null
select null !=0 结果仍然是null除非 使用 null is null 返回1 null is not null 返回0在使用查询出来的结果 可能为null的情况要考虑进去比如select cal !=0cal的结果包含了null 但是有时候这个null我们是不能将其丢掉的而只使用cal!=0 null !=0 返回的结果仍然是null,并不会返回1 使用它作为条件 将会过滤掉这条数据完整where条件应是 w...原创 2021-02-07 21:40:13 · 1540 阅读 · 0 评论 -
>net start mysql 发生系统错误 5。 拒绝访问。
navicat 连接本地mysql数据库 出现下图所示错误打开本地dos命令行 mysql 发现也报错应该是本地mysql服务没启动启停mysql服务net start/stop mysq发现还报错误,拒绝访问 一般是权限不够,使用管理员身份运行cmd 并启动mysql服务再连接 好了(#^.^#)...原创 2021-02-07 16:01:57 · 304 阅读 · 1 评论 -
C#中的虚方法,抽象方法,抽象类以及接口
前言众所周知,面向对象三大特点:封装、继承、多态。而今天我们将要学习的都是以多态为基础的,而什么是多态呢?举个不恰当的例子,比如你的对象,今天面对你是一副姿态,明天她给你戴绿帽子又是另一副模样(这个例子是从一个博主那看到的),你的对象还是同一个人,但是可以根据使用的对象来展现不一样的面貌,这,就是多态。简单来说:多态就是在继承的前提下,不同对象调用相同方法却表现出不同的行为。注:本次示例使用VS ...原创 2019-10-23 21:22:10 · 145 阅读 · 0 评论 -
在ASP.NET Core中使用AutoMapper
普通的模型映射现在有两个类,实体类Student和返回展示的 View类StudentView两个实体类字段还基本可以,不是很多,假如字段非常非常多,还需要手动去赋值的话,简直太痛苦了。想了想这才是一个方法,一般的系统都会少则几十,多则上百个这样的方法,这还不算,大家肯定遇到过一个情况,如果有一天要在页面多显示一个字段,噗!不是吧,首先要存在数据库,然后在该实体类就应该多一个,然后再在每一个赋值的...原创 2019-10-31 22:28:50 · 242 阅读 · 0 评论 -
使用Layui前端框架完成简单的增删改查
1.本文学习 简介使用layui前端框架搭配MVC使用EF Core ORM 快速建模暂不做复杂分层简单增删改查开发环境:Visual Studio 2019、MicroSoft SQL Server 20082. 往期学习文章如何在.NET Core中使用AutoMapper如何养成良好的编程习惯ASP.NET MVC 基础----数据传递优雅的LINQ之美不看这些,你就会慢慢变得毫无竞争力实践...原创 2019-11-14 08:53:49 · 1051 阅读 · 0 评论 -
认证授权之Identity Server(一)
大家好,我是大成子。疫情无情人有情,希望大家2020年更好!认证和授权几乎是每个项目中都有的知识点,今天学习认证授权框架Identity Server第一节。认证(Authentication)和授权(Authorization)认证即为你是谁,而授权则是你能做什么那先来说说Identity Server。Identity Server4是基于ASP .NET Core的实现OpenId Conn...原创 2020-02-07 22:22:36 · 913 阅读 · 0 评论 -
轻量高效ORM之Dapper篇
大家好,我是大成子。今天学习ORM框架之dapper介绍dapper是一个简单的对象关系映射框架(ORM----Object Relation Mapping),它几乎与原始的http://ADO.NET 数据操作读取一样快(反正我http://ado.net已经忘完了╥__╥,以前用的最多是linq to sql和ef,不需要写sql语句,使用linq操作数据源),它负责数据库与编程语言之间的映...原创 2020-02-27 19:09:33 · 324 阅读 · 0 评论 -
OOP面向对象编程的六大原则(下)
ahh,这个面向对象编程六大原则下篇,我是时隔好久才发出来了的,没办法,人太懒了,emmmmm,一直没来得及写。回顾上篇在上篇中我们学习了六大原则中的:对象单一职责、里式替换原则、迪米特法则、开闭原则对象单一职责:我们设计创建的对象,须职责明确,比如学生类。里面相关的属性和方法都必须是学生的,不能出现教师或者课程相关的内容。这里的类可以是模块(比如这个文件夹下面放的是跟动态配置相关的)、类库(比如...原创 2020-02-28 23:06:40 · 101 阅读 · 0 评论 -
文件上传和下载+全局异常拦截处理器
大家好,今天写一下文件上传和下载相关的方法。新建一个file控制器,进行file相关的操作。并写入测试方法,看前端api展示效果如何。运行项目如下,选中一个图片上传进行测试:如下图,响应了ok,说明项目api没什么问题。接下来,先进行文件上传方法。本项目框架使用net core3.1,以后所有实践均在此项目下。服务接口层和实现层完善相应方法,并在容器中注入。测试一下,看是否成功:我试了下没有传文件...原创 2020-04-16 23:41:24 · 154 阅读 · 0 评论 -
2020.7.1错误集锦加杂记
大家好,我是大成子。首先有点小兴奋,因为港版国安法生效啦,还有就是建党99周年(这些好像跟今天的内容没啥关系,哈哈)。。。 今天回顾一下最近几个最近遇到的开发错误,从产生错误的原因,可以解决的方法,尝试调试的入口等几个方面来分析,从而解决问题,然后写点杂记。 1.Notunique table/alias(表的别名不是唯一的) 产生原因:在拼接sql时,给表起的别名有重复 ...原创 2020-07-01 22:19:21 · 255 阅读 · 0 评论