shell解析json简历文件并将结果添加到mysql数据库

最新推荐文章于 2022-08-25 22:52:44 发布
最新推荐文章于 2022-08-25 22:52:44 发布
阅读量499 收藏 2
点赞数
分类专栏： 后端 文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chendongpu/article/details/109110060
版权 
#!/bin/bash

#数据库用户名
USER="root"

DATABASE="jian"

#用户表
TABLE_PERSON="person"

#用户教育经历表
TABLE_EDUCATION="person_education_experience"

#用户工作经历表
TABLE_WORK="person_work_experience"

create_database_table(){


#创建数据库
mysql -u $USER << EOF 2>/dev/null
CREATE DATABASE $DATABASE CHARACTER SET utf8 COLLATE utf8_general_ci
EOF

[ $? -eq 0 ] && echo "created DB" || echo "DB already exists"

#创建用户表
mysql -u $USER $DATABASE << EOF 2>/dev/null
CREATE TABLE $TABLE_PERSON(
id bigint(11) NOT NULL AUTO_INCREMENT,
  name varchar(32) DEFAULT '' COMMENT '姓名',
  sex int(4) DEFAULT '0' COMMENT '性别',
  birthday varchar(10) DEFAULT '' COMMENT '生日',
  degree int(11) DEFAULT '0' COMMENT '学历',
  top_education_field varchar(32) DEFAULT '' COMMENT '最高学历专业',
  marital_status int(11) DEFAULT '1' COMMENT '婚姻 1未婚',
  current_country varchar(32) DEFAULT '' COMMENT '国家[居住]',
  current_province varchar(32) DEFAULT '' COMMENT '省[居住]',
  current_city varchar(32) DEFAULT '' COMMENT '市[居住]',
  current_district varchar(32) DEFAULT '' COMMENT '区[居住]',
  current_address varchar(32) DEFAULT '' COMMENT '详细地址[居住]',
  household_registration varchar(32) DEFAULT '' COMMENT '户口',
  id_card varchar(32) DEFAULT '' COMMENT '身份证',
  mobile varchar(32) DEFAULT '' COMMENT '手机号',
  email varchar(32) DEFAULT '' COMMENT 'email',
  expected_country varchar(32) DEFAULT '' COMMENT '国家[期望]',
  expected_province varchar(32) DEFAULT '' COMMENT '省[期望]',
  expected_city varchar(32) DEFAULT '' COMMENT '市[期望]',
  expected_district varchar(32) DEFAULT '' COMMENT '区[期望]',
  expected_address varchar(32) DEFAULT '' COMMENT '详细地址[期望]',
  expected_salary_min int(11) DEFAULT '0' COMMENT '最低薪资[期望]',
  expected_salary_max int(11) DEFAULT '0' COMMENT '最高薪资[期望]',
  current_situation varchar(64) DEFAULT '' COMMENT '目前状况',
  standard_job_industry varchar(64) DEFAULT '' COMMENT '从事行业',
  standard_job_function varchar(64) DEFAULT '' COMMENT '从事职业',
  expected_job_nature varchar(32) DEFAULT '' COMMENT '工作性质[期望]',
  expected_job_function varchar(64) DEFAULT '' COMMENT '期望从事职业',
  expected_job_industry varchar(64) DEFAULT '' COMMENT '期望从事行业',
  self_evaluation varchar(255) DEFAULT '' COMMENT '自我评价',
  PRIMARY KEY (id)
)ENGINE=MyISAM DEFAULT CHARSET=utf8;
EOF


[ $? -eq 0 ] && echo "Created table $TABLE_PERSON success" || echo "Table $TABLE_PERSON already exist"


#创建教育经历表
mysql -u $USER $DATABASE << EOF 2>/dev/null
CREATE TABLE $TABLE_EDUCATION(
id int(11) NOT NULL AUTO_INCREMENT,
  person_id int(11) NOT NULL DEFAULT '0',
  start_time varchar(10) NOT NULL DEFAULT '',
  end_time varchar(10) NOT NULL DEFAULT '',
  institution_name varchar(32) NOT NULL DEFAULT '',
  education_field varchar(64) NOT NULL DEFAULT '',
  education_description varchar(255) NOT NULL DEFAULT '',
  education_level int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (id)
)ENGINE=MyISAM DEFAULT CHARSET=utf8
EOF

[ $? -eq 0 ] && echo "Created table $TABLE_EDUCATION success" || echo "Table $TABLE_EDUCATION already exist"



#创建工作经历表
mysql -u $USER $DATABASE << EOF 2>/dev/null
CREATE TABLE $TABLE_WORK(
	id int(11) NOT NULL AUTO_INCREMENT,
  person_id int(11) NOT NULL DEFAULT '0',
  start_time varchar(10) NOT NULL DEFAULT '',
  end_time varchar(10) NOT NULL DEFAULT '',
  company_name varchar(32) NOT NULL DEFAULT '',
  job_title varchar(64) NOT NULL DEFAULT '',
  job_description varchar(255) NOT NULL DEFAULT '',
  salary_min int(11) NOT NULL DEFAULT '0',
  salary_max int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (id)
)ENGINE=MyISAM DEFAULT CHARSET=utf8
EOF

[ $? -eq 0 ] && echo "Created table $TABLE_WORK success" || echo "Table $TABLE_WORK already exist"

}






parse_json_file(){


#json文件名字
FILE=$1




#解析手机号
mobile=`cat $FILE|jq '.data.mobile'`
echo "mobile:$mobile"

if [ -z "$mobile" ]
then
	return
fi

mobile=`echo $mobile | sed 's/\"//g'`

mobile=${mobile:3}

echo "================"

if [ ${#mobile} -lt 11 ];then
    return
fi

len=${#mobile}
echo "========数组长度========"$len


#判断是否在数据库中已经存在，若存在就不插入了
key=$mobile
exists=`redis-cli -h 127.0.0.1 -p 6379 EXISTS ${key}`

if [ $exists -eq 1 ]
then

        return
else
        result=`redis-cli -h 127.0.0.1 -p 6379 set ${key} ${name}`
        [ $? -eq 0 ] && echo "insert into redis success" || echo "insert into redis fail"
fi



#解析名字
name=`cat $FILE |jq '.data.name_chi'`
echo "name:$name"
#解析性别
sex=`cat $FILE |jq '.data.sex'`
echo "sex:$sex"
#解析生日
birthday=`cat $FILE |jq '.data.birthday'`
echo "birthday:$birthday"
#解析学历
degree=`cat $FILE |jq '.data.degree'`
echo "degree:$degree"
#解析专业
top_education_field=`cat $FILE |jq '.data.top_education_field_from_chi_cv'`
echo "top_eucation_field:$top_education_field"
#解析婚姻
marital_status=`cat $FILE |jq '.data.marital_status'`
echo "marital_status:$marital_status"
#解析当前所在国家、省、市、区、详细地址
current_country=`cat $FILE |jq '.data.chi_current_address_detail[0].country'`
current_province=`cat $FILE |jq '.data.chi_current_address_detail[0].province'`
current_city=`cat $FILE |jq '.data.chi_current_address_detail[0].city'`
current_district=`cat $FILE |jq '.data.chi_current_address_detail[0].district'`
current_address=`cat $FILE |jq '.data.chi_current_address_detail[0].address'`
echo "current_country:$current_country,current_province:$current_province,current_city:$current_city,current_district:$current_district,current_address:$current_address"
#解析户口
household_registration=`cat $FILE|jq '.data.household_registration_from_chi_cv'`
echo "household_registration:$household_registration"
#解析身份证
id_card=`cat $FILE|jq '.data.id_card'`
echo "id_card:$id_card"
#解析电子邮箱
email=`cat $FILE|jq '.data.email'`
echo "email:$email"
#解析期望的国家、省、市、区、详细地址
expected_country=`cat $FILE |jq '.data.chi_expected_address_detail[0].country'`
expected_province=`cat $FILE |jq '.data.chi_expected_address_detail[0].province'`
expected_city=`cat $FILE |jq '.data.chi_expected_address_detail[0].city'`
expected_district=`cat $FILE |jq '.data.chi_expected_address_detail[0].district'`
expected_address=`cat $FILE |jq '.data.chi_expected_address_detail[0].address'`
echo "expected_country:$expected_country,expected_province:$expected_province,expected_city:$expected_city,expected_district:$expected_district,expected_address:$expected_address"
#解析期望薪资最低、最高
expected_salary_min=`cat $FILE |jq '.data.expected_salary_min'`
expected_salary_max=`cat $FILE |jq '.data.expected_salary_max'`
echo "expected_salary_min:$expected_salary_min,expected_salary_max:$expected_salary_max"
#解析目前状况
current_situation=`cat $FILE |jq '.data.current_situation_from_chi_cv'`
echo "current_situation:$current_situation"

#解析从事行业
standard_job_industry=`cat $FILE |jq '.data.standard_job_industry_from_chi_cv'`
echo "standard_job_industry:$standard_job_industry"

#解析从事职业
standard_job_function=`cat $FILE |jq '.data.standard_job_function_from_chi_cv'`
echo "standard_job_function:$standard_job_function"

#解析期望从事行业
expected_job_industry=`cat $FILE |jq '.data.expected_job_industry_from_chi_cv'`
echo "expected_job_industry:$expected_job_industry"

#解析期望从事职业
expected_job_function=`cat $FILE |jq '.data.expected_job_function_from_chi_cv'`
echo "expected_job_function:$expected_job_function"


#解析自我评价
self_evaluation=`cat $FILE |jq '.data.chi_self_evaluation'`
echo "self_evaluation:$self_evaluation"









#将解析的数据插入到数据库中
result="`mysql -u $USER $DATABASE << EOF 2>/dev/null
INSERT INTO $TABLE_PERSON (name,sex,birthday,degree,top_education_field,marital_status,current_country,current_province,current_city,current_district,current_address,household_registration,id_card,mobile,email,expected_country,expected_province,expected_city,expected_district,expected_address,expected_salary_min,expected_salary_max,current_situation,standard_job_industry,standard_job_function,expected_job_industry,expected_job_function,self_evaluation)  VALUES ($name,$sex,$birthday,$degree,$top_education_field,$marital_status,$current_country,$current_province,$current_city,$current_district,$current_address,$household_registration,$id_card,$mobile,$email,$expected_country,$expected_province,$expected_city,$expected_district,$expected_address,$expected_salary_min,$expected_salary_max,$current_situation,$standard_job_industry,$standard_job_function,$expected_job_industry,$expected_job_function,$self_evaluation);
SELECT LAST_INSERT_ID() id;
EOF`"

if [ $? -eq 0 ]
then

    echo "Insert data success1"

    id=`echo $result | awk '{print $2}'`


    #解析教育经历
    education_length=`cat $FILE |jq '.data.education_experience_chi|length'`
    for((i=0;$i<$education_length;i=`expr $i+1`))
    do
            start_time=`cat $FILE  | jq '.data.education_experience_chi['$i'].education_experience_start_time'`
            end_time=`cat $FILE  | jq '.data.education_experience_chi['$i'].education_experience_end_time'`
            institution_name=`cat $FILE  | jq '.data.education_experience_chi['$i'].institution_name'`
            education_field=`cat $FILE  | jq '.data.education_experience_chi['$i'].education_field'`
            education_description=`cat $FILE  | jq '.data.education_experience_chi['$i'].education_description'`
            education_level=`cat $FILE  | jq '.data.education_experience_chi['$i'].education_level'`

            echo "start_time:$start_time,end_time:$end_time,institution_name:$institution_name,education_field:$education_field,education_description:$education_description,education_level:$education_level"

mysql -u $USER $DATABASE << EOF 2>/dev/null
INSERT INTO $TABLE_EDUCATION (person_id,start_time,end_time,institution_name,education_field,education_description,education_level) VALUES ($id,$start_time,$end_time,$institution_name,$education_field,$education_description,$education_level)
EOF
            [ $? -eq 0 ] && echo "Insert education data success" || echo "Insert education data fail"
    done


    #解析教育经历
    work_length=`cat $FILE |jq '.data.work_experience_chi|length'`
    for((i=0;$i<work_length;i=`expr $i+1`))
    do
            start_time=`cat $FILE  | jq '.data.work_experience_chi['$i'].work_experience_start_time'`
            end_time=`cat $FILE  | jq '.data.work_experience_chi['$i'].work_experience_end_time'`
            company_name=`cat $FILE  | jq '.data.work_experience_chi['$i'].company_name'`
            job_title=`cat $FILE  | jq '.data.work_experience_chi['$i'].job_title'`
            job_description=`cat $FILE  | jq '.data.work_experience_chi['$i'].job_description'`
            salary_min=`cat $FILE  | jq '.data.work_experience_chi['$i'].job_salary_min'`
            salary_max=`cat $FILE  | jq '.data.work_experience_chi['$i'].job_salary_max'`
            echo "start_time:$start_time,end_time:$end_time,company_name:$company_name,job_title:$job_title,job_description:$job_description,salary_min:$salary_min,salary_max:$salary_max"
mysql -u $USER $DATABASE << EOF 2>/dev/null
INSERT INTO $TABLE_WORK (person_id,start_time,end_time,company_name,job_title,job_description,salary_min,salary_max) VALUES ($id,$start_time,$end_time,$company_name,$job_title,$job_description,$salary_min,$salary_max)
EOF
            [ $? -eq 0 ] && echo "Insert work data success" || echo "Insert work data fail"
    done




else
 echo "Insert data fail"
fi
}

#调用生成数据库和表的方法
create_database_table


#调用执行解析的方法
#parse_json_file "_任瑞-807734-20180-807735-20180831180431-20180910171218.json"



read_dir(){
	for file in `ls -a $1`
	do
		if [ -d $1"/"$file ]
		then
			if [[ $file != '.' && $file != '..' ]]
			then
				read_dir $1"/"$file
			fi
		else
			parse_json_file $1"/"$file
		fi
	done
}

remove_blank(){

        dir=$1
        find $dir -type f -name "* *" -print |
        while read name; do
                na=$(echo $name | tr ' ' '_')
                if [[ $name != $na ]]; then
                        mv "$name" $na
                fi
        done
        echo "去空格完成"
}

remove_blank json_20180830

#测试目录 test
read_dir json_20180830

 

reg183
关注
专栏目录
如何把获取的JSON数据插入到MySQL中
LaoYangSaid的博客
07-22 4223
自己在官网上搞数据存为JSON 然后插入到MySQL里 1 直接爬官网的数据 首先创建一个空的用来存放json文件的文件 // 需求： (1) 读取页面的html // (2) 把数据存入数据库，或存入data.json //request模块： 发起http请求 // 安装 ： cnpm i request --save const request = require("request"); // 把html代码转为类似jquery对象 const cheerio = require("ch
shell 导入数据mysql_shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中...
weixin_32876681的博客
01-18 1755
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中利用shell脚本将文本数据导入到mysql中需求1：处理文本中的数据，将文本中的数据插入到mysql中1010 jerry 1991-12-13male1011 mike 1991-12-13female1012 tracy 1991-12-13male1013 ...
php powershell json,Powershell往JSON格式中添加数据
weixin_42110362的博客
03-19 111
内部添加内容：$json = @"{"BlockA": {"BlockB": {"name": "BlockB","value": "Value_B"}}}"@$blockcvalue =@"{"name":"BlockC","value":"ValueC"}"@$jobj = ConvertFrom-Json -InputObject $json$jobj.BlockA | add-member...
shell_同步增量json数据到数据库
wj1298250240的博客
06-25 328
shell_同步增量json数据到数据库 数据流转：json–>>kafka–>>slipstream–>>数据库 代码：https://github.com/reader-sword/reader-sword-zhejiangdiankeyuan_append_jsonToDB #!/bin/bash #1.加载配置文件 parentPath="/mnt/so...
在Shell命令行处理JSON数据的方法
09-15
主要介绍了在Shell命令行处理JSON数据的方法,使用jq工具实现,需要的朋友可以参考下
查询mysql并转成json_将数据库SQL查询结果直接转为JSON
weixin_30453651的博客
01-25 8393
JSON是一种轻量级的数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。SQL与JsonSQLServer对从2016开始添加了对Json数据的支持，我们可以很轻松的将查询的数据通过SQL语句直接转成Json格式，这对我们存储和交互数据提供了一个很好的途径...
Django搭建服务器，并将数据库中的数据解析为json格式显示在web
菜鸟算法
06-22 1926
前言 编译器 pycharm，环境python3.7、django为最新版本；下载安装python、django（个人认为在cmd用pip下载最好，因人而异，这个下载安装模块比较简单，网上教程很多可以自己来。） 一、创建Django应用 在你想存放djang项目的文件夹下进行cmd命令 diango-admin startproject mysite来创建项目mysite。 创建自己的应用 ...
MySQL中的JSON
Valineliu
08-25 8700
从5.7.8开始，MySQL开始支持JSON类型，用于存储JSON数据。JSON类型的加入模糊了关系型数据库与NoSQL之间的界限，给日常开发也带来了很大的便利。这篇文章主要介绍一下MySQL中JSON类型的使用，主要参考MySQL手册：https://dev.mysql.com/doc/refman/8.0/en/......
mysql导入dat文件_.dat导入数据库
weixin_30827435的博客
01-14 3777
SQL Server中bcp命令的用法以及数据批量导入导出0.参考文献：SQL Server BCP使用小结bcp Utility某社区600万用户数据导入MYSQL、MSSQL、Oracle数据库方法SELECT INTO 和 INSERT INTO SELECT 两种表复制语句1.bcp命令参数解析bcp命令有许多参数，下面给出bcp命令...文章嗯哼99252017-12-261466浏览量...
mysql慢日志导入数据库表中
最新发布
05-30
使用shell脚本解析慢查询日志并将其导入到数据库表中，需要对正则表达式和SQL有一定的理解。首先，脚本需要读取日志文件，然后逐行处理，提取关键信息（如时间戳、用户、查询时间、SQL语句等）。提取后，使用`LOAD ...
shell脚本修改json中某个字段的值
10-25
shell脚本修改json中某个字段的值 - 思路：通过awk来找到旧数据，然后用sed来替换旧数据
利用Shell脚本将MySQL表中的数据转化为json格式
weixin_34281537的博客
12-29 342
脚本如下： #!/bin/bash mysql -s -phello test &gt;1.log &lt;&lt;EOF desc t1; EOF lines="concat_ws(','," count=`cat 1.log|wc -l` linenum=0 while read line do coloumname=`echo $line |awk '{print ...
shell脚本读取json文件数据存储到数据库
reg183的专栏
11-16 1892
创建json文件test.json [ {“id”:1,”name”:”张三”,”age”:20,”sex”:”F”,”hobby”:”游泳”}, {“id”:2,”name”:”李四”,”age”:21,”sex”:”M”,”hobby”:”上网”}, {“id”:3,”name”:”王五”,”age”:22,”sex”:”F”,”hobby”:”游戏”}, {“id”:4,”name”:”赵六”,”age”:23,”sex”:”M”,”hobby”:”冲浪”} ] 创建shell脚本jq_mysql
shell脚本获取mysql的返回值_shell执行mysql语句后怎么得到得到返回的结果？
weixin_33359523的博客
01-14 1473
展开全部本文介绍 MySQL 8.0 shell 子模块 Util 的两e69da5e6ba9062616964757a686964616f31333433626538个导入特性 importTable/import_table(JS和python 版本的命名差异)、importJson/import_json的使用方法。其中 import_table 是通过传统 MySQL 协议来通信，Impo...
Mysql中的JSON系列操作函数
liunx___的博客
12-07 3647
前言 JSON是一种轻量级的数据交换格式，采用了独立于语言的文本格式，类似XML，但是比XML简单，易读并且易编写。对机器来说易于解析和生成，并且会减少网络带宽的传输。 JSON的格式非常简单：名称/键值。之前MySQL版本里面要实现这样的存储，要么用VARCHAR要么用TEXT大文本。 MySQL5.7发布后，专门设计了JSON数据类型以及关于这种类型的检索以及其他函数解析。 下面一起来实...
#Shell脚本 -- 由json文件生成sql
weixin_33805557的博客
07-14 342
2019独角兽企业重金招聘Python工程师标准>>> ...
MySQL 5.7原生JSON格式支持
weixin_33762321的博客
04-14 254
在MySQL与PostgreSQL的对比中，PG的JSON格式支持优势总是不断被拿来比较。其实早先MariaDB也有对非结构化的数据进行存储的方案，称为dynamic column，但是方案是通过BLOB类型的方式来存储。这样导致的问题是查询性能不高，不能有效建立索引，与一些文档数据库对比，优势并不大，故在社区的反应其实比较一般。当然，MariaDB的dynamic column功能还不仅限于非结...
shell脚本如何从json文件读取一个某个值
热门推荐
lys07962000的专栏
12-21 5万+
来自： https://zhidao.baidu.com/question/369911229489608484.html time=`cat json|awk -F"[xxx]" '/xxx/{print $x}'`  cat json.txt | awk -F "[firstName]" '/firstName/{print$0}' [root@localhost liu]# mo
MySQL 5.7开发手册：数据库表结构解析
11. **JSON支持**：MySQL 5.7 添加了对JSON数据类型的原生支持，方便存储和查询JSON格式的数据。 12. **SQL标准兼容性**：MySQL 5.7在兼容性方面做了改进，更接近于SQL标准。 13. **新语法和函数**：可能包含了新...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

reg183

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值