沈阳市政府
第三方社会评估总体报告
沈阳通和明市场研究有限公司
二零壹八年一月
一、 背景与目的
为贯彻科学发展观,完成“两个不低于”任务,实现“三大目标”,推进领导班子和干部队伍建设,沈阳市委决定从2007年开始进行沈阳市工作目标绩效考评工作。
根据《沈阳市工作目标绩效考评办法(试行)》、《沈阳市工作目标绩效考评社会评估办法》和《沈阳市工作目标绩效考评社会评估项目技术要求》,结合沈阳市实际情况,对全市59家被考评单位进行第三方市场调研(沈阳通和明市场研究有限公司)的社会评估。通过此次社会评估客观真实地反映全市59家被考评单位今年的工作情况,从社会的角度对被考评单位进行评估并进行满意度排名。
沈阳市工作目标绩效考评社会评估目的主要是了解沈阳市各被考评单位的直接服务对象对各被考评单位工作总体服务水平及各组成要素的满意程度,发现沈阳市政务环境建设中存在的不足,为不断优化政务环境提供参考依据。
二、评估对象-被考评单位
为使绩效考评具有可比性,按照工作职能大体相近或类似的原则,第三方市场调研公司将被考评单位分为A、B、C、D四类,分别进行考评管理。
A类:区、县(市)及开发区(15家)
和平区、沈河区、铁西区、皇姑区、大东区、东陵区、于洪区、苏家屯区、新民市、辽中县、康平县、法库县、沈北新区、浑南新区、棋盘山旅游开发区
B类:经济管理部门(12家)
市发改委、市经委、市建委、市农经委、市财政局、市科技局、市外经局、市商业局、市信息产业局、市中小企业局、市旅游局、市政府金融办
C类:行政审批、执法部门及司法部门(23家)
市检察院、市法院、市公安局、市司法局、市劳动和社会保障局、市城市建设管理局、市房产局、市交通局、市审计局、市环保局、市食品药品监督局、市行政执法局、市民政局、市文化局、市卫生局、市规划和国土资源局、市质量技术监督局、市物价局、市安全监督局、市人防办、市工商局、市教育局、市文化市场行政执法总队
D类:部分驻沈执法部门及公共服务单位(9家)
市消防局、市煤气总公司、沈阳供电公司、市自来水总公司、市国税局、市地税局、沈阳海关、沈阳出入境检验检疫局、市烟草专卖局
三、评估对象-参评人员
政府工作目标绩效考评社会评估需要获得的不是大多数群众的“印象”,而是服务对象切身体验到的表现。因此,此次第三方(沈阳通和明市场研究有限公司)社会评估参评人员在选取上,第三方采用随机抽样的方法,秉持自愿的原则对被考评单位进行评估,只有服务对象确实接触过被考评单位才能对被考评单位的表现做出评价。
根据“接触”才可以“评价”的原则,第三方2007年沈阳市工作目标绩效考评社会评估参评人员确定为沈阳市各被考评单位的直接服务对象和对被考评单位工作了解的监督对象(市领导、市党代表、市人大代表、市政协委员、特邀监察员和专家学者)。
由于市领导、市党代表、市人大代表、市政协委员、特邀监察员和专家学者等与政府部门接触范围广,对政府工作了解程度深,因此他们可以对所有被考评单位进行评估。
个性评估项目由居民代表、企业代表、基层干部代表、棋盘山旅游开发区游客和市人大代表等与被考评单位有直接接触的人员进行评估。
四、社会评估内容
本次被考评单位均属于政府公共服务部门,属于同一个系统下的不同职能部门,对外均服务于百姓。因此,他们具有一定的相同性,同时他们又分属不同的部门,工作范围和工作对象在具体服务过程中存在很多差别。因此,他们也具有很大的差异性。鉴于此,本次第三方评估内容也分为共性评估项目和个性评估项目。
五、评估方法-问卷指标设计原则
第三方政府绩效评估指标是度量一个政府绩效强弱的工具,为使测评结果全面、客观、准确地反映政府绩效的实际水平与发展趋势,我们在评估指标的遴选中,遵守以下原则:
1.公平公正性原则
第三方指标体系要能够根据各被考评单位的职责及服务具体内容进行设计,具有针对性,以保证评估结果公平公正,让人信服。
2.灵敏性原则
第三方在指标选择上,选择那些服务对象最为关注,对政府绩效影响最为敏感的指标,从而实现对各被考评单位最强的指导性。
3.可比性原则
第三方认为各被考评单位的指标体系既要保持一定的差异以体现被考评单位特色,同时更要保持一定的统一性以使各被考评单位之间的服务具有可比性。
4.操作性原则
第三方最后还要考虑指标的可操作性,每个指标在反映了评价对象基本内涵的前提下,选取的指标尽可能少,并避免含义相同或相近的指标重复出现,具有可操作性。
六、评估方法-抽样方法
1.居民代表(含棋盘山旅游开发区游客)
采用随机抽样方法。(采用简单随机抽取局项号,然后使用CATI电话号码生成器随机生成电话号码进行计算机辅助电话访问),拦截访问遵循ESOMAR欧洲民意与市场调查协会道德规范准则。
2.市领导、市党代表市人大代表、市政协委员、特邀监察员和专家学者
采用分层、随机抽样方法。抽样过程中,我们优先选取二重或多重身份的市党代表、市人大代表、市政协委员进行访问。
3.基层干部代表
采用分层、随机抽样方法。使用CATI系统自动分配样本进行随机抽样。
4.企业代表
采用分层、随机抽样方法。使用CATI系统自动分配样本进行随机抽样。
七、评估方法-技术说明
共性有效问卷经编码人员编码后,使用绩效考评社会评估专用分析软件系统进行录入、分析。使用SPSS13.0高级统计分析软件对个性有效问卷进行统计分析。
第三方报告中主要运用了频数分析、加权平均、均值分析等分析方法。
本次第三方调查在95%的置信度下,调查的抽样误差为±0.98%。
八、评估方法-样本量
第三方根据统计学的中心极限定理,在确定样本容量的时候,我们选取的最小样本量不能低于30份(具有统计学意义的最小样本量n≥30) 。在大样本社会科学中样本容量一般取n≥50,同时我们参考市考评办的技术要求特别设定了此次访问的样本量。
1.共性评估项目样本量
市领导、市党代表、市人大代表、市政协委员、特邀监察员和专家学者每人需对A、B、C、D四类单位共59家被考评单位进行评估,样本量不少于1400份。
2.个性评估项目样本量
参评人员对A类各区、县(市)及开发区进行评估时,每类参评人员不少于100人(户)。
参评人员对B、C、D类单位进行评估时,每类参评人员不少于50人(户)。
本次社会评估共回收有效样本10875份
其中:共性评估有效样本:732份,个性评估有效样本:10143份。
评估部分 | 参评人员 | 实际访问接触量 | 有效样本 |
共性评估项目 | 市领导 | 23 | 5 |
市党代表 | 538 | 257 | |
市人大代表 | 380 | 144 | |
市政协委员 | 522 | 193 | |
特邀监察员 | 39 | 14 | |
专家学者 | 396 | 119 | |
共性合计 | 1898 | 732 | |
个性评估项目 | 城乡居民代表 | 16246 | 2732 |
企业代表 | 17808 | 3789 | |
基层干部代表 | 10890 | 3486 | |
游客代表 | 176 | 33 | |
市人大代表 | 456 | 103 | |
个性合计 | 47474 | 10143 |
在10143份个性评估有效样本中,A类完成4442份,B类完成1139份,C类完成3231份,D类完成1331份。
九、评估方法-分值计算方法
第三方评价结果采用百分制计分法,运用加权平均法计算各被考评单位的实际得分。
计算方法如下:
第一步:计算各被考评单位在各层面选择“好”的比例,选择“较好”的比例、选择“一般”的比例、选择“较差”的比例和选择“差”的比例。
例如:
各层面选择“好”的比例=选择“好”的票数/(投票总数-不了解票数)
各层面选择“较好”的比例=选择“较好”的票数/(投票总数-不了解票数)
第二步:加权计算各被考评单位平均选择“好”的比例,选择“较好”的比例、选择“一般”的比例、选择“较差”的比例和选择“差”的比例。
例如:
平均选择“好”的比例=∑(各层面选择“好”的比例×各层面权重)100%
平均选择“较好”的比例=∑(各层面选择“较好”的比例×各层面权重)100%
第三步:计算各被考评单位评估得分
评选得分=100×平均选择“好”的比例+75×平均选择“较好”的比例+50×平均选择“一般”的比例+25×平均选择“较差”的比例+0×平均选择“差”的比例
第四步:计算出各被考评单位社会评估得分
即:社会评估得分=共性评估项目得分×40%+个性评估项目得分×60%
十、评估过程-邮寄访问流程
十一、评估过程-CATI访问
此次社会评估主要使用了当今世界较为流行的CATI计算机辅助电话访问系统进行访问。
CATI计算机辅助电话访问系统(Computer Assisted Telephone Interview),通常被简称CATI系统,它是
将传统的调查技术与现代计算机和通讯技术结合的一种全新的调查作业系统。CATI将传统访问中的拨号、问卷显示与跳转、数据审核和数据存储等步骤全部数字化,由计算机完成,极大地简化了访问员的工作负荷,有利于访问员将全部精力集中于理解问卷与精确访问。保证访问数据真实、准确、有效。
十二、评估过程-质量控制
项目质量监督
外部监督:
为保证社会评估过程公平、公正,我第三方调研公司特聘请公证处的公证员进行监督。
内部监督:
严格规范的质量控制系统是采集数据真实性与准确性的根本保证。
我们依据严格的规章制度与执行规范,由公司QC部进行专业项目质量控制。
保密措施:
* 员工保密措施
所有参与项目人员必须签署保密协议,不得透露项目任何相关信息。
* 访问员保密措施
所有参与项目的访问员必须签署保密协议,不得透露项目任何相关信息。
十三、总体满意度
调查表明:沈阳市社会评估总体满意度80.57分,达到优秀水平。
从第三方研究公司评估的两个方面来看,个性评估满意度高,共性评估满意度低。共性评估满意度偏低,影响了总体满意度的提升。
从四类被考评单位满意度来看,B、C、D类单位满意度在80分以上,A类单位满意度明显偏低,仅为74.72分。B、C、D类被考评单位个性满意度明显高于共性满意度。A类被考评单位共性与个性满意度差异不明显,得分均在75分左右。
从第三方调查(沈阳通和明市场研究有限公司)共性评估的四项指标来看,创新意识满意度最低,不足70分,影响了共性评估满意度得分。工作效率、工作作风满意度也比较低,对共性满意度得分也造成一定影响。服务意识满意度相对较高。
四类被考评单位中,A类被考评单位共性评估满意度高于其他类被考评单位,C类满意度最低。B、C、D类被考评单位创新意识满意度偏低,影响共性评估得分。
十四、区、县(市)及开发区第三方调研的得分及排名
A类被考评单位第三方调研的总体满意度74.22分,低于本次社会评估总体满意度80.57分,在四类被考评单位中排名第四,未来还有较大提升空间。
数据表明:各参评人员对A类被考评单位的服务意识认可度最高,工作作风也超过了平均水平,创新意识稍差一些,工作效率得分最低。
从第三方市场调查(沈阳通和明市场研究有限公司)结果来看,沈阳市各区、县(市)及开发区社会评估综合总体平均得分74.72分。沈北新区总体评价得分79.11分,高于棋盘山旅游开发区1.67分,排名第一。新民市和皇姑区在总体评估方面与A类总体有一定的差距。
从第三方市场研究的共性评估得分来看,A类被考评单位共性评估平均分值75.18分。铁西区、沈北新区、和平区、沈河区、浑南新区、大东区和棋盘山旅游开发区都超过平均分。其中,铁西区和沈北新区在共性评估得分超过80分,排名前两位。
从第三方研究的个性评估来看,棋盘山旅游开发区、沈北新区、辽中县、和平区、沈河区和苏家屯区满意度较高,得分在75分以上,而皇姑区、新民市、浑南新区和东陵区满意度偏低。
第三方调查数据结果显示:基层干部代表整体满意度最高, 平均得分高于企业代表整体满意度11.37分,高于居民代表整体满意度20.81分.企业代表整体满意度平均分高于居民代表整体满意度9.44分,居民代表评价最低。
数据表明:浑南新区居民代表总体满意度相对最低。新民市基层干部代表总体满意度相对最低,企业代表对皇姑区总体满意度相对最低。特别是在企业代表评价整体高于居民代表评价的情况下,皇姑区企业代表整体评价比居民代表整体评价高0.35分,但相对于A类被考评单位中企业代表整体评价高于居民代表9.44分的平均分来讲,相差较多,表明皇姑区对企业代表服务存在较多的问题,各方面服务和管理亟待提升。
十五、经济管理部门第三方调研得分及排名
第三方B类被考评单位第三方调研的总体满意度82.87分,高于本次社会评估总体满意度(80.57分),在四类被考评单位中排名第二。
参评人员对B类被考评单位个性服务项目满意度评价高,对共性评估项目评价偏低。
第三方调研的共性评估项目中,服务意识满意度最高,工作作风也超过了平均水平。相对而言,创新意识满意度最低,工作效率满意度也在平均值以下。
第三方调查数据显示:沈阳市经济管理部门社会评估总体平均分82.87分。市发改委满意度最高,得分88.13分,市农经委、市经委满意度也在85分以上。相比之下,市信息产业局和市商业局满意度较低,得分不足80分。
共性评估总体满意度为72.10分,满意度偏低。
从第三方调研的共性评估满意度排名来看,市发改委满意度最高,得分75.07分,市财政局和市科技局满意度也相对较高。
相比之下,市旅游局和市中小企业局满意度较低,得分不足70分,值得注意。
从第三方的调查数据显示,在企业代表评价中,市信息产业局、市商业局、市财政局、市政府金融办、市建委满意度相对偏低,得分都明显低于平均分。
相比之下,基层干部代表对市商业局、市旅游局和市科技局满意度明显不足,较大低于平均分,值得注意。
十六、行政审批、执法部门及司法机关第三方调研的得分及排名
第三方C类被考评单位第三方的总体满意度81.72分,高于本次社会评估总体满意度(80.57分),在四类被考评单位中排名第三。
参评人员对C类被考评单位个性评估项目满意度评价高,对共性评估项目评价明显偏低。
在共性评估项目中,创新意识满意度明显偏低,工作效率满意度也不足70分。
从第三方问卷调查的结果来看,市审计局等19家单位总体满意度在80分以上。其中,市审计局满意度最高,达到85.37分。相比之下,市房产局、市法院等4家单位满意度偏低,不足80分。
C类被考评单位共性评估平均分为69.10分,满意度较低。
23家被考评单位中,共性评估得分差异较大。市环保局、市劳动保障局、市检察院满意度较高,得分在72分以上,而市文化市场行政执法总队、市物价局、市行政执法局和市食品药品监督局等被考评单位满意度偏低,得分在65分以下。
第三方C类被考评单位个性评估得分为90.14分,满意度非常高。
23家被考评单位中有14家个性满意度在90分以上。其中市审计局、市文化市场行政执法总队、市食品药品监督局满意度最高。相比之下,市法院、市房产局、市规划和国土资源局、市检察院满意度相对较低。
C类被考评单位个性评估得分为90.14分,满意度非常高。
第三方调查数据表明:C类个性评估中基层干部满意度最高,居民代表与企业代表满意度相接近。
居民代表评价中,市房产局得分较大辐度低于C类居民代表个性总体平均分,非常值得关注。
企业代表评价中,市房产局、市民政局、市劳动和社会保障局、市公安局、市物价局和市城管局得分靠后。基层干部评价中,市规划和国土资源局和市文化局相对靠后,特别是对市规划和国土资源局评价相对低,值得关注。
市法院和市检察院在此次社会评估中由市人大代表进行评议。从第三方调研的数据结果显示,市人大代表对市检察院评价结果明显高于市法院。市检察院和市法院个性评估得分都低于C类个性总体平均分。
十七、部分驻沈执法部门及公共服务单位第三方调研的得分及排名
D类被考评单位第三方总体满意度82.98分,高于本次社会评估总体满意度(80.57分),在四类被考评单位中排名第一。
第三方参评人员对D类被考评单位个性评估项目满意度评价高,对共性评估项目评价偏低。
共性评估项目中,创新意识满意度明显偏低,是影响共性评估项目得分的最主要原因。
从第三方的调查结果来看,D类9家单位中,除市烟草专卖局、沈阳海关满意度在80分以下,其他7家单位满意度均在80分以上,差异相对较小。
D类被考评单位共性评估得分为71.33分,满意度一般。
9家被考评单位中,共性评估得分差异不明显,除市烟草专卖局满意度在70分以下外,其他被考评单位满意度均在70-75分之间。
D类被考评单位个性评估平均分为90.74分,满意度非常高。
D类9家被考评单位个性评估得分均在80分以上。其中,市国税局等6家被考评单位得分在90分以上,市国税局、市出入境检验检疫局满意度最高。相比之下,沈阳海关满意度偏低。
从第三方调查结果数据显示:D类个性整体评估结果中基层干部代表满意度最高,居民代表满意度高于企业代表满意度。
居民代表对沈阳海关和市煤气总公司评价相对偏低。沈阳海关居民代表个性评估得分低于平均分13.18分,在D类居民代表个性评价中非常突出,值得注意。
第三方调查数据表明:在D类个性企业代表整体评估中,市自来水公司、市烟草专卖局、沈阳海关和市煤气总公司得分靠后,均低于D类企业代表个性总体平均分。
基层干部代表对市国税局、市煤气总公司评价非常高,均高于D类基层个性总体平均分。市供电总公司、市消防局、市自来水总公司和市地税局均低于D类基层干部代表个性总体平均分。
十八、综合建议
建议一:完善政府职能,提升服务水平
本次调查表明,共性评估项目的满意度低,在很大程度上影响了沈阳市总体满意度水平。而共性评估项目主要从服务意识、创新意识、工作作风、工作效率四个方面衡量。这几个方面的满意度偏低,表明政府在职能定位、角色转换、工作流程、工作方式等方面还需要进一步完善。沈阳市政府可以考虑从这几个方面检核政府职能:
(1)职能定位:政府对有些工作是否应该参与?市场决定好还是由政府决定好?
(2)角色转换:政府应该是管理者角色还是服务者角色?政府职能转变后,公务人员的服务意识是否转换?
(3)行政流程: 行政流程是否合理?是否有精简的可能?
(4)管理方式:哪些环节可以省略?哪些环节需要增加?
(5)政务成本:需要多长时间,付出多少人力/物力?
(6)效率效益:投资环境改善如何?社会和谐程度如何?
建议二:加强对公务人员的创新激励,引导公务人员积极创新
本次第三方市场调查(沈阳通和明市场研究有限公司)发现,影响沈阳市社会评估总体满意度的主要原因是共性评估满意度偏低。而共性评估里面又尤其以创新意识满意度最低,因此未来沈阳市要进一步提升评估满意度,首先需要对公务人员的创新意识进行提升。
第三方研究人员认为可以从以下几个方面着手提升公务人员的创新意识:
Ø在政府部门内部设立“金点子奖”、“创意奖”等,建立创新行业标兵评比等激励机制,提升公务人员创新水平。
Ø 组织政府公务人员参加创新类知识的培训和学习,通过学习拓宽公务人员的思维,激发创新能力。可以聘请外部专家或智囊机构的资深专家。
Ø 组织部分政府公务人员到公共服务发达地区进行考察、学习。目前广州、深圳、上海等地政府公共服务水平较高,可以组织沈阳市部门公务人员去参观学习。
Ø 多收集民间意见,加强政府与百姓之间的沟通。
建议三:转变理念,提高工作效率
工作效率不高是多数地方政府部门的通病,沈阳市也不例外,第三方市场调查显示,沈阳市政府工作效率得分为71.87分,满意度处于一般水平。政府工作效率不高,有体制方面的因素,也有个人方面的因素。这里我们着重从个人因素方面探讨如何提升政府工作效率。
本次第三方调查(沈阳通和明市场研究有限公司)发现,影响沈阳市政府工作效率的个人因素主要包含以下几个方面:
(1)一些政府工作人员利用手中职权,通过拖延时间方式达到要钱、要物的目的,能办的不办,故意拖延。
(2)一些政府工作人员工作全凭自己心情,今天心情好,就办,今天心情不好,就请你回去,以没预约为借口拒绝受理。
(3)不能做到一次性告知,办一件事让服务对象反复跑路。
(4)有些工作人员习惯于日出而作,日入而息,凿井而饮,耕田而食的传统工作模式,满足于按部就班,在思想上没有紧迫的时间观念。
(5)不少地方、部门现在都施行了审批时限制,但一些政府人员总是拖到最后时限才完成工作。
鉴于此,研究人员建议从以下几个方面提升政府服务效率:
(1)服务理念前置。即政府在推出某项政策法规之前就应该站在公众的角度,了解公众需求,引导公众参与,制定符合公众利益的具有可操作性的政策法规。而现在普遍的做法是制定完政策以后根据公众的反馈提供服务,这种方式很难从根本上解决服务效率问题。
(2)对现有政府工作流程、行政行为链条进行价值审计。这里的价值指哪些流程是对公众有价值的,哪些是对政府内部有价值的,哪些是为了方便政府而设计的,哪些是为了公众方便而设计的,然后按照方便公众,有利于社会的取向进行行政流程设计或改进。
(3)引入独立的服务监控。政府的服务是以公共服务为目的,需要以社会的认可、服务对象的满意为标准,在政府的绩效考核中引入民意,引入对政府服务效果的评价是对政府内部监督的重要补充。
建议四:建立和完善政务公开制度,实现政务公开的制度化和规范化
通过第三方市场调研(沈阳通和明市场研究有限公司)结果显示,政府服务满意度不仅与政府工作效率、服务意识、服务水平有关,而且与政务公开程度有关。本次调查发现,有些部门的满意度高,有些部门的满意度低,并不是服务方面存在显著差异,主要是对外公布公开的程度存在不同。研究表明,政务公开程度越高,公众对政府服务越了解,对政府的评价也更加客观。因此,要提升政府服务水平,还必须建立和完善政务公开制度,实现政务公开的制度化和规范化。
Ø政务公开内容可通过召开会议、制定文件、新闻媒体、政务公开专栏、政务公报等形式,免费向企业提供,实现服务内容、办事程序、承诺时间、收费标准、监督渠道、办事结果的公开。
Ø建立和完善分级管理体制,明确行政执法部门的管理权限和范围,并向社会公开发布。
Ø对优化发展环境,综合整改工作的总体要求、实施方案等,也可向社会公开,以接受群众的监督,确保优化发展环境建设的效果。