- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Pycharm里注释颜色异常
Pycharm版本：Pycharm 2020.1.1 (Community Edition)python版本：2.7背景：在写代码中发现注释颜色是一块明显的黄色，如图提示信息为 ：byte literal contains characters> 255处理方法：设置脚本字符编码#!/usr/bin/env python# -*-coding: utf -8-*-...
2020-06-05 23:43:06
1239
原创 MySQL8修改密码报错 ：“You have an error in your SQL syntax”
MySQL版本：Server version: 8.0.20 MySQL Community Server - GPL win10系统使用MySQL8版本以前的命令修改密码：set password=password('新密码');这个提示语法错误；在MySQL8新版中修改密码的命令给严格限制了，应该使用：alter user'root'@'localhost' identified with mysql_native_password by 'new_password' ;..
2020-06-05 23:30:53
2141
6
原创 换个角度看问题
#日常思考#在做项目或者学习中，经常抱怨自己遇到bug，跟着文档或者视频操作遇到很多问题，觉得这是错误的！一个事实：我们大部分的知识获取全部是来自于解决问题的过程。当一个Bug卡了半个小时，这时候Bug相关的代码可能已经看了好多遍，对上下层关系非常了解，也会耐心的DeBug，看日志，对错误反复进行搜索，当我们最终解决问题的时候，收获的不止这几行代码的知识点。要换个...
2020-03-07 22:10:41
249
转载 SVN的下载、安装以及使用
一 SVN 是什么？在公司做过团队开发都知道，一个项目的代码要保持最新的版本。举个例子！例如：一个公司的项目有5人开发（A，B，C，D，E五个人），有一个地方专门存放项目的最新的代码，这个地方比如叫 '代码仓库'A 写代码前需要从代码仓库下载最新的代码，然后开始写代码，需要把今天做些的代码上传到代码仓库，那这时候就要使用到SVN(版本控制工具)了。如图二 SVN...
2019-12-22 22:12:35
239
原创 大白话描述SQL面试的知识点
一、SQL(结构化查询语言)SQL的分类： 基本需要了解的：MySQL(99SQL) 、HQL(HiveSQL)、SparkSQL、ImpalaSQL、OracleSQL的应用： MySQL数据库用于存放元数据较多、小公司主要用MySQL(比较多) 用的SQL是标准SQL； Oracle 数据库用于存放公司的业务数据，交易数据。 用的也是标准SQ...
2019-12-22 22:10:26
1200
原创 数据ETL
1. ETL之数据清洗数据清洗的概念:“数据清洗确保无法辨认的数据不会进入数据仓库。无法辨认的数据将影响到数据仓库中通过联机分析处理(OLAP)、数据挖掘和关键绩效指标(KPI)所产生的报表。”数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在操作中，数据清洗通常会占据分析过程的50%—80%的时间。所以数据清洗的过程就显得尤为重要,在下面的图上...
2019-10-24 13:32:26
1556
原创 处理CDH环境Hadoop:NameNode is not formatted
缘由:搭建impala配置hdfs-site.xml后需要 ,重新启动整个集群(确保集群使用状况);重启后出现master无法启动java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.jav...
2019-10-24 13:19:45
1776
转载 root权限下操作root权限不够大????
DN服务重新启动失败:java.io.IOException: the path component: '/var/run/hdfs-sockets' is world-writable. Its permissions are 0777. Please fix this or select a different socket path.root is not God,...
2019-07-05 23:27:30
1485
原创 本地yum源安装软件时遇见--skip-broken rpm -Va --nofiles --nodigest
在本地安装impala时遇见: You could try using --skip-broken to work around the problem You could try running: rpm -Va --nofiles --nodigest解决方案:在网上找了一堆答案,起到作用的其中一个方法方案: 检查自己yum配置是否存在问题,检查无误后重新清掉yum缓冲即可...
2019-07-03 19:07:41
5044
2
原创 Hadoop错误之YarnException
在使用azkaban做任务调度时候发现Hadoop错误:头信息为下面内容:19/07/02 18:37:38 INFO mapreduce.Job: map 0% reduce 0%19/07/02 18:37:38 INFO mapreduce.Job: Job job_1562063149428_0002 failed with state FAILED due to: App...
2019-07-02 19:29:41
780
转载 数据分析常用的术语
缘由在进行数据分析时，经常会遇到一些分析指标或术语。这些术语是帮助我们打开思路，通过多个角度对数据进行深度解读，可以说是前人已经总结和使用的数据分析方法。下面是数据统计分析常用的指标或术语：1.平均数一般指算术平均数。算术平均数是指，全部数据累加除以数据个数。它是非常重要的基础性指标。几何平均数：适用于对比率数据的平均，并主要用于计算数据平均增长（变化）率。加权平均数：普通...
2019-07-01 10:45:36
3215
原创 Scala的学习之路（二）
Scala编程Scala 基础语法Scala 语句末尾的分号是可省略的。Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。对象 - 对象有属性和行为。例如：一只狗的状属性有：颜色，名字，行为有：叫、跑、吃等。对象是一个类的实例。 类 - 类是对象的抽象，而对象是类的具体实例。 方法 - 方法描述的基本的行为，一个类可以包含多个方法。 字段 - 每个对象都有它唯...
2019-05-13 07:13:52
141
原创 Scala的学习之路（一）
Scala 简介Scala 是 Scalable Language 的简写，是一门多范式的编程语言Scala 特性面向对象特性Scala是一种纯面向对象的语言，每个值都是对象。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径：一种途径是子类继承，另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。函数式编程Scala也是一种函数式语言，其函...
2019-05-13 07:13:36
152
原创 Hadoop（一）认识Hadoop
Hadoop简介Apache Hadoop 项目是可靠，可扩展的分布式计算的开源软件。 Apache Hadoop 软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。狭义上说Hadoop是apache的一个顶级项目。 广义上说Hadoop泛指Hadoop——生态圈Apache软件基金会专门为支持开源软件项目而办的一个非盈利性的组织开源的简介源码可以...
2019-03-15 20:07:58
596
原创Informatica使用说明(图解).pdf
2019-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人